resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,MRR,VPP]: "{DIR[DTR]}/vpp_mrr_results"
  42     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  43     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  44     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  45     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  46     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  47     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  49
  50     # Detailed test configurations
  51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  53     DIR[DTC,MRR,VPP]: "{DIR[DTC]}/vpp_mrr_configuration"
  54     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  56
  57     # Detailed tests operational data
  58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  59     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  60
  61     # .css patch file to fix tables generated by Sphinx
  62     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  63     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  64
  65   urls:
  66     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  67     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  68     URL[NEXUS]: "https://docs.fd.io/csit"
  69     DIR[NEXUS]: "report/_static/archive"
  70
  71   make-dirs:
  72   # List the directories which are created while preparing the environment.
  73   # All directories MUST be defined in "paths" section.
  74   - "DIR[WORKING,DATA]"
  75   - "DIR[STATIC,VPP]"
  76   - "DIR[STATIC,DPDK]"
  77   - "DIR[STATIC,ARCH]"
  78   - "DIR[BUILD,LATEX]"
  79   - "DIR[WORKING,SRC]"
  80   - "DIR[WORKING,SRC,STATIC]"
  81
  82   remove-dirs:
  83   # List the directories which are deleted while cleaning the environment.
  84   # All directories MUST be defined in "paths" section.
  85   #- "DIR[BUILD,HTML]"
  86   - "DIR[WORKING,DATA]"
  87
  88   build-dirs:
  89   # List the directories where the results (build) is stored.
  90   # All directories MUST be defined in "paths" section.
  91   - "DIR[BUILD,HTML]"
  92   - "DIR[BUILD,LATEX]"
  93
  94 -
  95   type: "configuration"
  96   data-sets:
  97     plot-vpp-http-server-performance:
  98 # TODO: Add the data sources
  99       csit-vpp-perf-1801-all:
 100       - 157
 101       - 158
 102       - 159
 103       - 160
 104       - 161
 105       - 164
 106       - 165
 107       - 166
 108       - 168
 109       - 169
 110       - 170
 111 # TODO: Add the data sources
 112 #    vpp-meltdown-impact:
 113 #      csit-vpp-perf-1707-all:
 114 #      - 9
 115 #      - 10
 116 #      - 13
 117 #      csit-vpp-perf-1710-all:
 118 #      - 11l
 119 #      - 12
 120 #      - 13
 121 # TODO: Add the data sources
 122 #    vpp-spectre-impact:
 123 #      csit-vpp-perf-1707-all:
 124 #      - 9
 125 #      - 10
 126 #      - 13
 127 #      csit-vpp-perf-1710-all:
 128 #      - 11
 129 #      - 12
 130 #      - 13
 131     vpp-performance-changes:
 132       csit-vpp-perf-1710-all:
 133       - 11
 134       - 12
 135       - 13
 136       - 14
 137       - 15
 138       - 16
 139       - 17
 140       - 18
 141       - 19
 142       - 20
 143       csit-vpp-perf-1801-all:
 144       - 124  # sel
 145       - 127  # sel
 146       - 128  # sel
 147       - 141  # sel
 148       - 142  # sel
 149       - 143  # sel
 150       - 145  # sel
 151       - 146  # sel
 152       - 162  # sel
 153       - 163  # sel
 154       - 167  # sel
 155       - 172  # sel acl only
 156       csit-vpp-perf-1804-all:
 157       - 21  # sel
 158       - 22  # sel
 159       - 23  # sel
 160       - 24  # sel
 161       - 27  # sel
 162       - 28  # sel
 163       - 29  # sel
 164       - 30  # sel
 165       - 31  # sel
 166       - 35  # sel
 167     vpp-performance-changes-mrr:
 168       csit-vpp-perf-check-1801:
 169       - 3
 170       - 4
 171       - 5
 172       - 6
 173       - 7
 174       - 8
 175       - 9
 176       - 11
 177       - 12
 178       - 13
 179       csit-vpp-perf-check-1804:
 180       - 6   # mrr - sel
 181       - 7   # mrr - sel
 182       - 8   # mrr - sel
 183       - 9   # mrr - sel
 184       - 10  # mrr - sel
 185       - 11  # mrr - sel
 186       - 12  # mrr - sel
 187       - 13  # mrr - sel
 188       - 14  # mrr - sel
 189       - 15  # mrr - sel
 190     plot-throughput-speedup-analysis:
 191       csit-vpp-perf-1804-all:
 192       - 19  # full
 193       - 20  # full
 194       - 25  # full
 195       - 26  # full
 196       - 21  # sel
 197       - 22  # sel
 198       - 23  # sel
 199       - 24  # sel
 200       - 27  # sel
 201       - 28  # sel
 202       - 29  # sel
 203       - 30  # sel
 204       - 31  # sel
 205       - 35  # sel
 206     plot-ligato-throughput-speedup-analysis:
 207       csit-ligato-perf-1804-all:
 208       - 5   # sel
 209       - 6   # sel
 210       - 7   # sel
 211       - 8   # sel
 212       - 9   # sel
 213       - 10  # sel
 214       - 11  # sel
 215       - 12  # sel
 216 #    performance-improvements:
 217 #      csit-vpp-perf-1707-all:
 218 #      - 9
 219 #      - 10
 220 #      - 13
 221 #      - 14
 222 #      - 15
 223 #      - 16
 224 #      - 17
 225 #      - 18
 226 #      - 19
 227 #      - 21
 228 #      csit-vpp-perf-1710-all:
 229 #      - 11
 230 #      - 12
 231 #      - 13
 232 #      - 14
 233 #      - 15
 234 #      - 16
 235 #      - 17
 236 #      - 18
 237 #      - 19
 238 #      - 20
 239 #      csit-vpp-perf-1801-all:
 240 #      - 124
 241 #      - 127
 242 #      - 128
 243 #      csit-ligato-perf-1710-all:
 244 #      - 5
 245 #      - 7
 246 #      - 8
 247 #      - 9
 248 #      - 10
 249 #      - 11
 250 #      - 12
 251 #      - 13
 252 #      - 16
 253 #      - 17
 254 #      csit-ligato-perf-1801-all:
 255 #      - 16  # sel
 256 #      - 17  # sel
 257 #      - 18  # sel
 258 #      - 19  # sel
 259 #      - 20  # sel
 260 #      - 21  # sel
 261 #      - 22  # sel
 262 #      - 23  # sel
 263 #      - 24  # sel
 264     vpp-perf-results:
 265       csit-vpp-perf-1804-all:
 266       - 19  # full
 267       - 20  # full
 268       - 25  # full
 269       - 26  # full
 270     vpp-func-results:
 271       csit-vpp-functional-1804-ubuntu1604-virl:
 272       - 199
 273     vpp-func-results-centos:
 274       csit-vpp-functional-1804-centos7-virl:
 275       - 207
 276     vpp-mrr-results:
 277       csit-vpp-perf-check-1804:
 278       - 5   # mrr - full
 279     ligato-perf-results:
 280       csit-ligato-perf-1804-all:
 281       - 4  # full
 282     dpdk-perf-results:
 283       csit-dpdk-perf-1804-all:
 284       - 13
 285     hc-func-results:
 286       csit-hc2vpp-verify-func-1804-ubuntu1604:
 287       - 3
 288     nsh-func-results:
 289       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 290       - 7
 291     plot-vpp-throughput-latency:
 292       csit-vpp-perf-1804-all:
 293       - 19  # full
 294       - 20  # full
 295       - 25  # full
 296       - 26  # full
 297       - 21  # sel
 298       - 22  # sel
 299       - 23  # sel
 300       - 24  # sel
 301       - 27  # sel
 302       - 28  # sel
 303       - 29  # sel
 304       - 30  # sel
 305       - 31  # sel
 306       - 35  # sel
 307     plot-dpdk-throughput-latency:
 308       csit-dpdk-perf-1804-all:
 309       - 4
 310       - 5
 311       - 6
 312       - 7
 313       - 8
 314       - 9
 315       - 10
 316       - 11
 317       - 12
 318       - 13
 319     plot-ligato-throughput-latency:
 320       csit-ligato-perf-1804-all:
 321       - 5   # sel
 322       - 6   # sel
 323       - 7   # sel
 324       - 8   # sel
 325       - 9   # sel
 326       - 10  # sel
 327       - 11  # sel
 328       - 12  # sel
 329
 330   plot-layouts:
 331
 332     plot-cps:
 333       xaxis:
 334         autorange: True
 335         autotick: False
 336         fixedrange: False
 337         gridcolor: "rgb(238, 238, 238)"
 338         linecolor: "rgb(238, 238, 238)"
 339         linewidth: 1
 340         showgrid: True
 341         showline: True
 342         showticklabels: True
 343         tickcolor: "rgb(238, 238, 238)"
 344         tickmode: "linear"
 345         title: "Indexed Test Cases"
 346         zeroline: False
 347       yaxis:
 348         gridcolor: "rgb(238, 238, 238)'"
 349         hoverformat: ".4s"
 350         linecolor: "rgb(238, 238, 238)"
 351         linewidth: 1
 352         range: []
 353         rangemode: "tozero"
 354         showgrid: True
 355         showline: True
 356         showticklabels: True
 357         tickcolor: "rgb(238, 238, 238)"
 358         title: "Connections Per Second [cps]"
 359         zeroline: False
 360       boxmode: "group"
 361       boxgroupgap: 0.5
 362       autosize: False
 363       margin:
 364         t: 50
 365         b: 20
 366         l: 50
 367         r: 20
 368       showlegend: True
 369       legend:
 370         orientation: "h"
 371       width: 700
 372       height: 1000
 373
 374     plot-rps:
 375       xaxis:
 376         autorange: True
 377         autotick: False
 378         fixedrange: False
 379         gridcolor: "rgb(238, 238, 238)"
 380         linecolor: "rgb(238, 238, 238)"
 381         linewidth: 1
 382         showgrid: True
 383         showline: True
 384         showticklabels: True
 385         tickcolor: "rgb(238, 238, 238)"
 386         tickmode: "linear"
 387         title: "Indexed Test Cases"
 388         zeroline: False
 389       yaxis:
 390         gridcolor: "rgb(238, 238, 238)'"
 391         hoverformat: ".4s"
 392         linecolor: "rgb(238, 238, 238)"
 393         linewidth: 1
 394         range: []
 395         rangemode: "tozero"
 396         showgrid: True
 397         showline: True
 398         showticklabels: True
 399         tickcolor: "rgb(238, 238, 238)"
 400         title: "Requests Per Second [rps]"
 401         zeroline: False
 402       boxmode: "group"
 403       boxgroupgap: 0.5
 404       autosize: False
 405       margin:
 406         t: 50
 407         b: 20
 408         l: 50
 409         r: 20
 410       showlegend: True
 411       legend:
 412         orientation: "h"
 413       width: 700
 414       height: 1000
 415
 416     plot-throughput:
 417       xaxis:
 418         autorange: True
 419         autotick: False
 420         fixedrange: False
 421         gridcolor: "rgb(238, 238, 238)"
 422         linecolor: "rgb(238, 238, 238)"
 423         linewidth: 1
 424         showgrid: True
 425         showline: True
 426         showticklabels: True
 427         tickcolor: "rgb(238, 238, 238)"
 428         tickmode: "linear"
 429         title: "Indexed Test Cases"
 430         zeroline: False
 431       yaxis:
 432         gridcolor: "rgb(238, 238, 238)'"
 433         hoverformat: ".4s"
 434         linecolor: "rgb(238, 238, 238)"
 435         linewidth: 1
 436         range: []
 437         showgrid: True
 438         showline: True
 439         showticklabels: True
 440         tickcolor: "rgb(238, 238, 238)"
 441         title: "Packets Per Second [pps]"
 442         zeroline: False
 443       boxmode: "group"
 444       boxgroupgap: 0.5
 445       autosize: False
 446       margin:
 447         t: 50
 448         b: 20
 449         l: 50
 450         r: 20
 451       showlegend: True
 452       legend:
 453         orientation: "h"
 454       width: 700
 455       height: 1000
 456
 457     plot-latency:
 458       xaxis:
 459         autorange: True
 460         autotick: False
 461         fixedrange: False
 462         gridcolor: "rgb(238, 238, 238)"
 463         linecolor: "rgb(238, 238, 238)"
 464         linewidth: 1
 465         showgrid: True
 466         showline: True
 467         showticklabels: True
 468         tickcolor: "rgb(238, 238, 238)"
 469         tickmode: "linear"
 470         title: "Indexed Test Cases"
 471         zeroline: False
 472       yaxis:
 473         gridcolor: "rgb(238, 238, 238)'"
 474         hoverformat: ""
 475         linecolor: "rgb(238, 238, 238)"
 476         linewidth: 1
 477         range: []
 478         showgrid: True
 479         showline: True
 480         showticklabels: True
 481         tickcolor: "rgb(238, 238, 238)"
 482         title: "Latency min/avg/max [uSec]"
 483         zeroline: False
 484       boxmode: "group"
 485       boxgroupgap: 0.5
 486       autosize: False
 487       margin:
 488         t: 50
 489         b: 20
 490         l: 50
 491         r: 20
 492       showlegend: True
 493       legend:
 494         orientation: "h"
 495       width: 700
 496       height: 1000
 497
 498     plot-throughput-speedup-analysis:
 499       xaxis:
 500         autorange: True
 501         autotick: False
 502         fixedrange: False
 503         gridcolor: "rgb(238, 238, 238)"
 504         linecolor: "rgb(238, 238, 238)"
 505         linewidth: 1
 506         showgrid: True
 507         showline: True
 508         showticklabels: True
 509         tickcolor: "rgb(238, 238, 238)"
 510         tickmode: "linear"
 511         tickangle: 270
 512         zeroline: False
 513       yaxis:
 514         title: "Throughput speedup factor"
 515         gridcolor: "rgb(238, 238, 238)"
 516         hoverformat: ".4s"
 517         linecolor: "rgb(238, 238, 238)"
 518         linewidth: 1
 519         range: []
 520         showgrid: True
 521         showline: True
 522         showticklabels: True
 523         tickcolor: "rgb(238, 238, 238)"
 524         zeroline: False
 525       legend:
 526         orientation: "h"
 527         xanchor: "center"
 528         yanchor: "top"
 529         x: 0.5
 530         y: 1
 531         bgcolor: "rgba(255, 255, 255, 0)"
 532         bordercolor: "rgba(255, 255, 255, 0)"
 533       barmode: "group"
 534       bargap: 0.15
 535       bargroupgap: 0.1
 536       autosize: False
 537       margin:
 538           't': 50
 539           'b': 200
 540           'l': 50
 541           'r': 20
 542       showlegend: True
 543       width: 700
 544       height: 1000
 545
 546 -
 547   type: "debug"
 548   general:
 549     input-format: "xml"  # zip or xml
 550     extract: "robot-plugin/output.xml"  # Only for zip
 551   builds:
 552     # The files must be in the directory DIR[WORKING,DATA]
 553     csit-vpp-perf-1801-all:
 554     -
 555       build: 1
 556       file: "{DIR[WORKING,DATA]}/output.xml"
 557     -
 558       build: 2
 559       file: "{DIR[WORKING,DATA]}/output.xml"
 560     -
 561       build: 3
 562       file: "{DIR[WORKING,DATA]}/output.xml"
 563     -
 564       build: 4
 565       file: "{DIR[WORKING,DATA]}/output.xml"
 566
 567 -
 568   type: "static"
 569   src-path: "{DIR[RST]}"
 570   dst-path: "{DIR[WORKING,SRC]}"
 571
 572 -
 573   type: "input"  # Ignored in debug mode
 574   general:
 575     file-name: "robot-plugin.zip"
 576     file-format: ".zip"
 577     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 578     extract: "robot-plugin/output.xml"
 579   builds:
 580 #    csit-vpp-perf-1707-all:
 581 #    - 9
 582 #    - 10
 583 #    - 13
 584 #    - 14
 585 #    - 15
 586 #    - 16
 587 #    - 17
 588 #    - 18
 589 #    - 19
 590 #    - 21
 591     csit-vpp-perf-1710-all:
 592     - 11
 593     - 12
 594     - 13
 595     - 14
 596     - 15
 597     - 16
 598     - 17
 599     - 18
 600     - 19
 601     - 20
 602     csit-vpp-perf-1801-all:
 603 #    - 122  # full
 604 #    - 126  # full
 605 #    - 129  # full
 606 #    - 140  # full
 607     - 124  # sel
 608     - 127  # sel
 609     - 128  # sel
 610     - 141  # sel
 611     - 142  # sel
 612     - 143  # sel
 613     - 145  # sel
 614     - 146  # sel
 615     - 157  # wrk
 616     - 158  # wrk
 617     - 159  # wrk
 618     - 160  # wrk
 619     - 161  # wrk
 620     - 162  # sel
 621     - 163  # sel
 622     - 164  # wrk
 623     - 165  # wrk
 624     - 166  # wrk
 625     - 167  # sel
 626     - 168  # wrk
 627     - 169  # wrk
 628     - 170  # wrk
 629     - 172  # sel acl only
 630     csit-vpp-perf-1804-all:
 631     - 19  # full
 632     - 20  # full
 633     - 25  # full
 634     - 26  # full
 635     - 21  # sel
 636     - 22  # sel
 637     - 23  # sel
 638     - 24  # sel
 639     - 27  # sel
 640     - 28  # sel
 641     - 29  # sel
 642     - 30  # sel
 643     - 31  # sel
 644     - 35  # sel
 645     csit-vpp-perf-check-1801:
 646     - 3   # mrr
 647     - 4   # mrr
 648     - 5   # mrr
 649     - 6   # mrr
 650     - 7   # mrr
 651     - 8   # mrr
 652     - 9   # mrr
 653     - 11  # mrr
 654     - 12  # mrr
 655     - 13  # mrr
 656     csit-vpp-perf-check-1804:
 657     - 5   # mrr - full
 658     - 6   # mrr - sel
 659     - 7   # mrr - sel
 660     - 8   # mrr - sel
 661     - 9   # mrr - sel
 662     - 10  # mrr - sel
 663     - 11  # mrr - sel
 664     - 12  # mrr - sel
 665     - 13  # mrr - sel
 666     - 14  # mrr - sel
 667     - 15  # mrr - sel
 668 #    csit-ligato-perf-1710-all:
 669 #    - 5
 670 #    - 7
 671 #    - 8
 672 #    - 9
 673 #    - 10
 674 #    - 11
 675 #    - 12
 676 #    - 13
 677 #    - 16
 678 #    - 17
 679 #    csit-ligato-perf-1801-all:
 680 #    - 16  # sel
 681 #    - 17  # sel
 682 #    - 18  # sel
 683 #    - 19  # sel
 684 #    - 20  # sel
 685 #    - 21  # sel
 686 #    - 22  # sel
 687 #    - 23  # sel
 688 #    - 24  # sel
 689 #    - 25  # full
 690     csit-ligato-perf-1804-all:
 691     - 4   # full
 692     - 5   # sel
 693     - 6   # sel
 694     - 7   # sel
 695     - 8   # sel
 696     - 9   # sel
 697     - 10  # sel
 698     - 11  # sel
 699     - 12  # sel
 700     csit-dpdk-perf-1804-all:
 701     - 4
 702     - 5
 703     - 6
 704     - 7
 705     - 8
 706     - 9
 707     - 10
 708     - 11
 709     - 12
 710     - 13
 711     csit-vpp-functional-1804-ubuntu1604-virl:
 712     - 199
 713     csit-vpp-functional-1804-centos7-virl:
 714     - 207
 715     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 716     - 7
 717     csit-hc2vpp-verify-func-1804-ubuntu1604:
 718     - 3
 719
 720 -
 721   type: "output"
 722   output: "report"
 723   format:
 724     html:
 725     - full
 726     pdf:
 727     - minimal
 728
 729 ################################################################################
 730 ###                               T A B L E S                                ###
 731 ################################################################################
 732
 733 #-
 734 #  type: "table"
 735 #  title: "Performance Impact of Meltdown Patches"
 736 #  algorithm: "table_performance_comparison"
 737 #  output-file-ext: ".csv"
 738 ## TODO: specify dir
 739 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 740 #  reference:
 741 #    title: "No Meltdown"
 742 ## TODO: specify data sources
 743 #    data:
 744 #      csit-vpp-perf-1707-all:
 745 #      - 9
 746 #      - 10
 747 #      - 13
 748 #  compare:
 749 #    title: "Meltdown Patches Applied"
 750 ## TODO: specify data sources
 751 #    data:
 752 #      csit-vpp-perf-1710-all:
 753 #      - 11
 754 #      - 12
 755 #      - 13
 756 #  data:
 757 #    "vpp-meltdown-impact"
 758 #  filter: "all"
 759 #  parameters:
 760 #  - "name"
 761 #  - "parent"
 762 #  - "throughput"
 763 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 764 #  # to present all tests.
 765 #  nr-of-tests-shown: 20
 766 #
 767 #-
 768 #  type: "table"
 769 #  title: "Performance Impact of Spectre Patches"
 770 #  algorithm: "table_performance_comparison"
 771 #  output-file-ext: ".csv"
 772 ## TODO: specify dir
 773 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 774 #  reference:
 775 #    title: "No Spectre"
 776 ## TODO: specify data sources
 777 #    data:
 778 #      csit-vpp-perf-1707-all:
 779 #      - 9
 780 #      - 10
 781 #      - 13
 782 #  compare:
 783 #    title: "Spectre Patches Applied"
 784 ## TODO: specify data sources
 785 #    data:
 786 #      csit-vpp-perf-1710-all:
 787 #      - 11
 788 #      - 12
 789 #      - 13
 790 #  data:
 791 #    "vpp-spectre-impact"
 792 #  filter: "all"
 793 #  parameters:
 794 #  - "name"
 795 #  - "parent"
 796 #  - "throughput"
 797 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 798 #  # to present all tests.
 799 #  nr-of-tests-shown: 20
 800
 801 -
 802   type: "table"
 803   title: "VPP Performance Changes"
 804   algorithm: "table_performance_comparison"
 805   output-file-ext: ".csv"
 806   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 807   history:
 808     -
 809       title: "rls1710"
 810       data:
 811         csit-vpp-perf-1710-all:
 812         - 11
 813         - 12
 814         - 13
 815         - 14
 816         - 15
 817         - 16
 818         - 17
 819         - 18
 820         - 19
 821         - 20
 822   reference:
 823     title: "rls1801"
 824     data:
 825       csit-vpp-perf-1801-all:
 826       - 124  # sel
 827       - 127  # sel
 828       - 128  # sel
 829       - 141  # sel
 830       - 142  # sel
 831       - 143  # sel
 832       - 145  # sel
 833       - 146  # sel
 834       - 162  # sel
 835       - 163  # sel
 836       - 167  # sel
 837       - 172  # sel acl only
 838   compare:
 839     title: "rls1804"
 840     data:
 841       csit-vpp-perf-1804-all:
 842       - 21  # sel
 843       - 22  # sel
 844       - 23  # sel
 845       - 24  # sel
 846       - 27  # sel
 847       - 28  # sel
 848       - 29  # sel
 849       - 30  # sel
 850       - 31  # sel
 851   data: "vpp-performance-changes"
 852   filter: "all"
 853   parameters:
 854   - "name"
 855   - "parent"
 856   - "throughput"
 857   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 858   # to present all tests.
 859   nr-of-tests-shown: 20
 860   outlier-const: 1.5
 861
 862 -
 863   type: "table"
 864   title: "VPP Performance Changes - MRR"
 865   algorithm: "table_performance_comparison_mrr"
 866   output-file-ext: ".csv"
 867   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 868   reference:
 869     title: "Release 1801"
 870     data:
 871       csit-vpp-perf-check-1801:
 872 #      - 1
 873 #      - 2
 874       - 3
 875       - 4
 876       - 5
 877       - 6
 878       - 7
 879       - 8
 880       - 9
 881       - 11
 882       - 12
 883       - 13
 884   compare:
 885     title: "Release 1804"
 886     data:
 887       csit-vpp-perf-check-1804:
 888       - 5   # mrr - full
 889       - 6   # mrr - sel
 890       - 7   # mrr - sel
 891       - 8   # mrr - sel
 892       - 9   # mrr - sel
 893       - 10  # mrr - sel
 894       - 11  # mrr - sel
 895       - 12  # mrr - sel
 896       - 13  # mrr - sel
 897   data: "vpp-performance-changes-mrr"
 898   filter: "all"
 899   parameters:
 900   - "name"
 901   - "parent"
 902   - "result"
 903   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 904   # to present all tests.
 905   nr-of-tests-shown: 20
 906   outlier-const: 1.5
 907
 908 #-
 909 #  type: "table"
 910 #  title: "Performance improvements"
 911 #  algorithm: "table_performance_improvements"
 912 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 913 #  output-file-ext: ".csv"
 914 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 915 #  columns:
 916 #  -
 917 #    title: "Test Name"
 918 #    data: "template 1"
 919 #  -
 920 #    title: "16.09 mean [Mpps]"
 921 #    data: "template 2"
 922 #  -
 923 #    title: "17.01 mean [Mpps]"
 924 #    data: "template 3"
 925 #  -
 926 #    title: "17.04 mean [Mpps]"
 927 #    data: "template 4"
 928 #  -
 929 #    title: "17.07 mean [Mpps]"
 930 #    data: "data csit-vpp-perf-1707-all mean"
 931 #  -
 932 #    title: "17.10 mean [Mpps]"
 933 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 934 #  -
 935 #    title: "18.01 mean [Mpps]"
 936 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 937 #  -
 938 #    title: "18.01 stdev [Mpps]"
 939 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 940 #  -
 941 #    title: "17.10 to 18.01 change [%]"
 942 #    data: "operation relative_change 5 6"
 943 #  rows: "generated"
 944 #  data:
 945 #    "performance-improvements"
 946 #  filter: "template"
 947 #  parameters:
 948 #  - "throughput"
 949
 950 -
 951   type: "table"
 952   title: "Detailed Test Results - VPP Performance Results"
 953   algorithm: "table_merged_details"
 954   output-file-ext: ".csv"
 955   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 956   columns:
 957   -
 958     title: "Name"
 959     data: "data name"
 960   -
 961     title: "Documentation"
 962     data: "data doc"
 963   -
 964     title: "Status"
 965     data: "data msg"
 966   rows: "generated"
 967   data:
 968     "vpp-perf-results"
 969   filter: "not 'NDRCHK' and not 'PDRCHK'"
 970   parameters:
 971   - "name"
 972   - "parent"
 973   - "doc"
 974   - "msg"
 975
 976 -
 977   type: "table"
 978   title: "Test configuration - VPP Performance Test Configs"
 979   algorithm: "table_merged_details"
 980   output-file-ext: ".csv"
 981   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 982   columns:
 983   -
 984     title: "Name"
 985     data: "data name"
 986   -
 987     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 988     data: "data vat-history"
 989   rows: "generated"
 990   data:
 991     "vpp-perf-results"
 992   filter: "not 'NDRCHK' and not 'PDRCHK'"
 993   parameters:
 994   - "parent"
 995   - "name"
 996   - "vat-history"
 997
 998 -
 999   type: "table"
1000   title: "Test Operational Data - VPP Performance Operational Data"
1001   algorithm: "table_merged_details"
1002   output-file-ext: ".csv"
1003   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
1004   columns:
1005   -
1006     title: "Name"
1007     data: "data name"
1008   -
1009     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1010     data: "data show-run"
1011   rows: "generated"
1012   data:
1013     "vpp-perf-results"
1014   filter: "not 'NDRCHK' and not 'PDRCHK'"
1015   parameters:
1016   - "parent"
1017   - "name"
1018   - "show-run"
1019
1020 -
1021   type: "table"
1022   title: "Detailed Test Results - VPP MRR Results"
1023   algorithm: "table_details"
1024   output-file-ext: ".csv"
1025   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1026   columns:
1027   -
1028     title: "Name"
1029     data: "data name"
1030   -
1031     title: "Documentation"
1032     data: "data doc"
1033   -
1034     title: "Status"
1035     data: "data msg"
1036   rows: "generated"
1037   data:
1038     "vpp-mrr-results"
1039   filter: "'MRR'"
1040   parameters:
1041   - "name"
1042   - "parent"
1043   - "doc"
1044   - "msg"
1045
1046 -
1047   type: "table"
1048   title: "Test configuration - VPP MRR Test Configs"
1049   algorithm: "table_details"
1050   output-file-ext: ".csv"
1051   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_test_configuration"
1052   columns:
1053   -
1054     title: "Name"
1055     data: "data name"
1056   -
1057     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1058     data: "data vat-history"
1059   rows: "generated"
1060   data:
1061     "vpp-mrr-results"
1062   filter: "'MRR'"
1063   parameters:
1064   - "parent"
1065   - "name"
1066   - "vat-history"
1067
1068 -
1069   type: "table"
1070   title: "Detailed Test Results - VPP Functional Results"
1071   algorithm: "table_details"
1072   output-file-ext: ".csv"
1073   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1074   columns:
1075   -
1076     title: "Name"
1077     data: "data name"
1078   -
1079     title: "Documentation"
1080     data: "data doc"
1081   -
1082     title: "Status"
1083     data: "data status"
1084   rows: "generated"
1085   data:
1086     "vpp-func-results"
1087   filter: "all"
1088   parameters:
1089   - "name"
1090   - "parent"
1091   - "doc"
1092   - "status"
1093
1094 -
1095   type: "table"
1096   title: "Detailed Test Results - VPP Functional Results - CentOS"
1097   algorithm: "table_details"
1098   output-file-ext: ".csv"
1099   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1100   columns:
1101   -
1102     title: "Name"
1103     data: "data name"
1104   -
1105     title: "Documentation"
1106     data: "data doc"
1107   -
1108     title: "Status"
1109     data: "data status"
1110   rows: "generated"
1111   data:
1112     "vpp-func-results-centos"
1113   filter: "all"
1114   parameters:
1115   - "name"
1116   - "parent"
1117   - "doc"
1118   - "status"
1119
1120 -
1121   type: "table"
1122   title: "Test configuration - VPP Functional Test Configs"
1123   algorithm: "table_details"
1124   output-file-ext: ".csv"
1125   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1126   columns:
1127   -
1128     title: "Name"
1129     data: "data name"
1130   -
1131     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1132     data: "data vat-history"
1133   rows: "generated"
1134   data:
1135     "vpp-func-results"
1136   filter: "all"
1137   parameters:
1138   - "parent"
1139   - "name"
1140   - "vat-history"
1141
1142 -
1143   type: "table"
1144   title: "Test configuration - VPP Functional Test Configs - CentOS"
1145   algorithm: "table_details"
1146   output-file-ext: ".csv"
1147   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1148   columns:
1149   -
1150     title: "Name"
1151     data: "data name"
1152   -
1153     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1154     data: "data vat-history"
1155   rows: "generated"
1156   data:
1157     "vpp-func-results-centos"
1158   filter: "all"
1159   parameters:
1160   - "parent"
1161   - "name"
1162   - "vat-history"
1163
1164 -
1165   type: "table"
1166   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1167   algorithm: "table_details"
1168   output-file-ext: ".csv"
1169   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1170   columns:
1171   -
1172     title: "Name"
1173     data: "data name"
1174   -
1175     title: "Documentation"
1176     data: "data doc"
1177   -
1178     title: "Status"
1179     data: "data msg"
1180   rows: "generated"
1181   data:
1182     "ligato-perf-results"
1183   filter: "all"
1184   parameters:
1185   - "name"
1186   - "parent"
1187   - "doc"
1188   - "msg"
1189
1190 -
1191   type: "table"
1192   title: "Detailed Test Results - DPDK Performance Results"
1193   algorithm: "table_details"
1194   output-file-ext: ".csv"
1195   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1196   columns:
1197   -
1198     title: "Name"
1199     data: "data name"
1200   -
1201     title: "Documentation"
1202     data: "data doc"
1203   -
1204     title: "Status"
1205     data: "data msg"
1206   rows: "generated"
1207   data:
1208     "dpdk-perf-results"
1209   filter: "all"
1210   parameters:
1211   - "name"
1212   - "parent"
1213   - "doc"
1214   - "msg"
1215
1216 -
1217   type: "table"
1218   title: "Detailed Test Results - Honeycomb Functional Results"
1219   algorithm: "table_details"
1220   output-file-ext: ".csv"
1221   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1222   columns:
1223   -
1224     title: "Name"
1225     data: "data name"
1226   -
1227     title: "Documentation"
1228     data: "data doc"
1229   -
1230     title: "Status"
1231     data: "data status"
1232   rows: "generated"
1233   data:
1234     "hc-func-results"
1235   filter: "all"
1236   parameters:
1237   - "name"
1238   - "parent"
1239   - "doc"
1240   - "status"
1241
1242 -
1243   type: "table"
1244   title: "Detailed Test Results - NSH SFC Functional Results"
1245   algorithm: "table_details"
1246   output-file-ext: ".csv"
1247   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1248   columns:
1249   -
1250     title: "Name"
1251     data: "data name"
1252   -
1253     title: "Documentation"
1254     data: "data doc"
1255   -
1256     title: "Status"
1257     data: "data status"
1258   rows: "generated"
1259   data:
1260     "nsh-func-results"
1261   filter: "all"
1262   parameters:
1263   - "name"
1264   - "parent"
1265   - "doc"
1266   - "status"
1267
1268 ################################################################################
1269 ###                                F I L E S                                 ###
1270 ################################################################################
1271
1272 -
1273   type: "file"
1274   title: "VPP Performance Results"
1275   algorithm: "file_merged_test_results"
1276   output-file-ext: ".rst"
1277   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1278   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1279   dir-tables: "{DIR[DTR,PERF,VPP]}"
1280   data:
1281     "vpp-perf-results"
1282   filter: "not 'NDRCHK' and not 'PDRCHK'"
1283   parameters:
1284   - "name"
1285   - "doc"
1286   - "level"
1287   - "parent"
1288   data-start-level: 3  # 0, 1, 2, ...
1289   chapters-start-level: 2  # 0, 1, 2, ...
1290
1291 -
1292   type: "file"
1293   title: "VPP Performance Configuration"
1294   algorithm: "file_merged_test_results"
1295   output-file-ext: ".rst"
1296   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1297   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1298   dir-tables: "{DIR[DTC,PERF,VPP]}"
1299   data:
1300     "vpp-perf-results"
1301   filter: "not 'NDRCHK' and not 'PDRCHK'"
1302   parameters:
1303   - "name"
1304   - "doc"
1305   - "level"
1306   - "parent"
1307   data-start-level: 3  # 0, 1, 2, ...
1308   chapters-start-level: 2  # 0, 1, 2, ...
1309
1310 -
1311   type: "file"
1312   title: "VPP Performance Operational Data"
1313   algorithm: "file_merged_test_results"
1314   output-file-ext: ".rst"
1315   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1316   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1317   dir-tables: "{DIR[DTO,PERF,VPP]}"
1318   data:
1319     "vpp-perf-results"
1320   filter: "not 'NDRCHK' and not 'PDRCHK'"
1321   parameters:
1322   - "name"
1323   - "doc"
1324   - "level"
1325   - "parent"
1326   data-start-level: 3  # 0, 1, 2, ...
1327   chapters-start-level: 2  # 0, 1, 2, ...
1328
1329 -
1330   type: "file"
1331   title: "VPP MRR Results"
1332   algorithm: "file_test_results"
1333   output-file-ext: ".rst"
1334   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1335   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1336   dir-tables: "{DIR[DTR,MRR,VPP]}"
1337   data:
1338     "vpp-mrr-results"
1339   filter: "'MRR'"
1340   parameters:
1341   - "name"
1342   - "doc"
1343   - "level"
1344   - "parent"
1345   data-start-level: 2  # 0, 1, 2, ...
1346   chapters-start-level: 2  # 0, 1, 2, ...
1347
1348 -
1349   type: "file"
1350   title: "VPP MRR Configuration"
1351   algorithm: "file_test_results"
1352   output-file-ext: ".rst"
1353   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_configuration"
1354   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1355   dir-tables: "{DIR[DTC,MRR,VPP]}"
1356   data:
1357     "vpp-mrr-results"
1358   filter: "'MRR'"
1359   parameters:
1360   - "name"
1361   - "doc"
1362   - "level"
1363   - "parent"
1364   data-start-level: 2  # 0, 1, 2, ...
1365   chapters-start-level: 2  # 0, 1, 2, ...
1366
1367 -
1368   type: "file"
1369   title: "VPP Functional Results"
1370   algorithm: "file_test_results"
1371   output-file-ext: ".rst"
1372   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1373   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1374   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1375   data:
1376     "vpp-func-results"
1377   filter: "all"
1378   parameters:
1379   - "name"
1380   - "doc"
1381   - "level"
1382   data-start-level: 3  # 0, 1, 2, ...
1383   chapters-start-level: 2  # 0, 1, 2, ...
1384
1385 -
1386   type: "file"
1387   title: "VPP Functional Results - CentOS"
1388   algorithm: "file_test_results"
1389   output-file-ext: ".rst"
1390   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1391   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1392   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1393   data:
1394     "vpp-func-results-centos"
1395   filter: "all"
1396   parameters:
1397   - "name"
1398   - "doc"
1399   - "level"
1400   data-start-level: 3  # 0, 1, 2, ...
1401   chapters-start-level: 2  # 0, 1, 2, ...
1402
1403 -
1404   type: "file"
1405   title: "VPP Functional Configuration"
1406   algorithm: "file_test_results"
1407   output-file-ext: ".rst"
1408   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1409   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1410   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1411   data:
1412     "vpp-func-results"
1413   filter: "all"
1414   parameters:
1415   - "name"
1416   - "doc"
1417   - "level"
1418   data-start-level: 3  # 0, 1, 2, ...
1419   chapters-start-level: 2  # 0, 1, 2, ...
1420
1421 -
1422   type: "file"
1423   title: "VPP Functional Configuration - CentOS"
1424   algorithm: "file_test_results"
1425   output-file-ext: ".rst"
1426   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1427   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1428   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1429   data:
1430     "vpp-func-results-centos"
1431   filter: "all"
1432   parameters:
1433   - "name"
1434   - "doc"
1435   - "level"
1436   data-start-level: 3  # 0, 1, 2, ...
1437   chapters-start-level: 2  # 0, 1, 2, ...
1438
1439 -
1440   type: "file"
1441   title: "Container Orchestrated Performance Results"
1442   algorithm: "file_test_results"
1443   output-file-ext: ".rst"
1444   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1445   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1446   dir-tables: "{DIR[DTR,PERF,COT]}"
1447   data:
1448     "ligato-perf-results"
1449   filter: "all"
1450   parameters:
1451   - "name"
1452   - "doc"
1453   - "level"
1454   data-start-level: 2  # 0, 1, 2, ...
1455   chapters-start-level: 2  # 0, 1, 2, ...
1456
1457 -
1458   type: "file"
1459   title: "DPDK Performance Results"
1460   algorithm: "file_test_results"
1461   output-file-ext: ".rst"
1462   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1463   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1464   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1465   data:
1466     "dpdk-perf-results"
1467   filter: "all"
1468   parameters:
1469   - "name"
1470   - "doc"
1471   - "level"
1472   chapters:
1473   - "suites"
1474   data-start-level: 2  # 0, 1, 2, ...
1475   chapters-start-level: 2  # 0, 1, 2, ...
1476
1477 -
1478   type: "file"
1479   title: "Honeycomb Functional Results"
1480   algorithm: "file_test_results"
1481   output-file-ext: ".rst"
1482   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1483   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1484   dir-tables: "{DIR[DTR,FUNC,HC]}"
1485   data:
1486     "hc-func-results"
1487   filter: "all"
1488   parameters:
1489   - "name"
1490   - "doc"
1491   - "level"
1492   chapters:
1493   - "suites"
1494   data-start-level: 3  # 0, 1, 2, ...
1495   chapters-start-level: 2  # 0, 1, 2, ...
1496
1497 -
1498   type: "file"
1499   title: "NSH SFC Functional Results"
1500   algorithm: "file_test_results"
1501   output-file-ext: ".rst"
1502   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1503   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1504   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1505   data:
1506     "nsh-func-results"
1507   filter: "all"
1508   parameters:
1509   - "name"
1510   - "doc"
1511   - "level"
1512   chapters:
1513   - "suites"
1514   data-start-level: 2  # 0, 1, 2, ...
1515   chapters-start-level: 2  # 0, 1, 2, ...
1516
1517 ################################################################################
1518 ###                                P L O T S                                 ###
1519 ################################################################################
1520
1521 # Plots VPP HTTP Server Performance
1522 -
1523   type: "plot"
1524   title: "VPP HTTP Server Performance"
1525   algorithm: "plot_http_server_performance_box"
1526   output-file-type: ".html"
1527   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1528   data:
1529     "plot-vpp-http-server-performance"
1530   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1531   # each tag is enclosed with ' (apostrophe).
1532   filter: "'HTTP' and 'TCP_CPS'"
1533   parameters:
1534   - "result"
1535   - "name"
1536   traces:
1537     hoverinfo: "x+y"
1538     boxpoints: "outliers"
1539     whiskerwidth: 0
1540   layout:
1541     title: "VPP HTTP Server Performance"
1542     layout:
1543       "plot-cps"
1544
1545 -
1546   type: "plot"
1547   title: "VPP HTTP Server Performance"
1548   algorithm: "plot_http_server_performance_box"
1549   output-file-type: ".html"
1550   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1551   data:
1552     "plot-vpp-http-server-performance"
1553   filter: "'HTTP' and 'TCP_RPS'"
1554   parameters:
1555   - "result"
1556   - "name"
1557   traces:
1558     hoverinfo: "x+y"
1559     boxpoints: "outliers"
1560     whiskerwidth: 0
1561   layout:
1562     title: "VPP HTTP Server Performance"
1563     layout:
1564       "plot-rps"
1565
1566 # Plot Throughput Speedup Analysis
1567
1568 # L2 - 10ge2p1x520 - NDR
1569 -
1570   type: "plot"
1571   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1572   algorithm: "plot_throughput_speedup_analysis"
1573   output-file-type: ".html"
1574   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1575   data:
1576     "plot-throughput-speedup-analysis"
1577   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1578   parameters:
1579   - "throughput"
1580   - "parent"
1581   - "tags"
1582   layout:
1583     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1584     layout:
1585       "plot-throughput-speedup-analysis"
1586
1587 # L2 - 40ge2p1xl710 - NDR
1588 -
1589   type: "plot"
1590   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1591   algorithm: "plot_throughput_speedup_analysis"
1592   output-file-type: ".html"
1593   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1594   data:
1595     "plot-throughput-speedup-analysis"
1596   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1597   parameters:
1598   - "throughput"
1599   - "parent"
1600   - "tags"
1601   layout:
1602     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1603     layout:
1604       "plot-throughput-speedup-analysis"
1605
1606 # L2 - 10ge2p1x520 - PDR
1607 -
1608   type: "plot"
1609   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1610   algorithm: "plot_throughput_speedup_analysis"
1611   output-file-type: ".html"
1612   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1613   data:
1614     "plot-throughput-speedup-analysis"
1615   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1616   parameters:
1617   - "throughput"
1618   - "parent"
1619   - "tags"
1620   layout:
1621     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1622     layout:
1623       "plot-throughput-speedup-analysis"
1624
1625 # IPv4 - 10ge2p1x520 - NDR
1626 -
1627   type: "plot"
1628   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1629   algorithm: "plot_throughput_speedup_analysis"
1630   output-file-type: ".html"
1631   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1632   data:
1633     "plot-throughput-speedup-analysis"
1634   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1635   parameters:
1636   - "throughput"
1637   - "parent"
1638   - "tags"
1639   layout:
1640     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1641     layout:
1642       "plot-throughput-speedup-analysis"
1643
1644 # IPv4 - 40ge2p1xl710 - NDR
1645 -
1646   type: "plot"
1647   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1648   algorithm: "plot_throughput_speedup_analysis"
1649   output-file-type: ".html"
1650   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1651   data:
1652     "plot-throughput-speedup-analysis"
1653   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1654   parameters:
1655   - "throughput"
1656   - "parent"
1657   - "tags"
1658   layout:
1659     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1660     layout:
1661       "plot-throughput-speedup-analysis"
1662
1663 # IPv4 - 10ge2p1x520 - PDR
1664 -
1665   type: "plot"
1666   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1667   algorithm: "plot_throughput_speedup_analysis"
1668   output-file-type: ".html"
1669   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1670   data:
1671     "plot-throughput-speedup-analysis"
1672   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1673   parameters:
1674   - "throughput"
1675   - "parent"
1676   - "tags"
1677   layout:
1678     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1679     layout:
1680       "plot-throughput-speedup-analysis"
1681
1682 # IPv6 - 10ge2p1x520 - NDR
1683 -
1684   type: "plot"
1685   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1686   algorithm: "plot_throughput_speedup_analysis"
1687   output-file-type: ".html"
1688   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1689   data:
1690     "plot-throughput-speedup-analysis"
1691   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1692   parameters:
1693   - "throughput"
1694   - "parent"
1695   - "tags"
1696   layout:
1697     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1698     layout:
1699       "plot-throughput-speedup-analysis"
1700
1701 # IPv6 - 40ge2p1xl710 - NDR
1702 -
1703   type: "plot"
1704   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1705   algorithm: "plot_throughput_speedup_analysis"
1706   output-file-type: ".html"
1707   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1708   data:
1709     "plot-throughput-speedup-analysis"
1710   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1711   parameters:
1712   - "throughput"
1713   - "parent"
1714   - "tags"
1715   layout:
1716     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1717     layout:
1718       "plot-throughput-speedup-analysis"
1719
1720 # IPv6 - 10ge2p1x520 - PDR
1721 -
1722   type: "plot"
1723   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1724   algorithm: "plot_throughput_speedup_analysis"
1725   output-file-type: ".html"
1726   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1727   data:
1728     "plot-throughput-speedup-analysis"
1729   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1730   parameters:
1731   - "throughput"
1732   - "parent"
1733   - "tags"
1734   layout:
1735     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1736     layout:
1737       "plot-throughput-speedup-analysis"
1738
1739 ## IP4_overlay - NDR
1740 #-
1741 #  type: "plot"
1742 #  title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1743 #  algorithm: "plot_throughput_speedup_analysis"
1744 #  output-file-type: ".html"
1745 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-ndrdisc"
1746 #  data:
1747 #    "plot-throughput-speedup-analysis"
1748 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1749 #  parameters:
1750 #  - "throughput"
1751 #  - "parent"
1752 #  - "tags"
1753 #  layout:
1754 #    title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1755 #    layout:
1756 #      "plot-throughput-speedup-analysis"
1757 #
1758 ## IP4_overlay - PDR
1759 #-
1760 #  type: "plot"
1761 #  title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1762 #  algorithm: "plot_throughput_speedup_analysis"
1763 #  output-file-type: ".html"
1764 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-pdrdisc"
1765 #  data:
1766 #    "plot-throughput-speedup-analysis"
1767 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1768 #  parameters:
1769 #  - "throughput"
1770 #  - "parent"
1771 #  - "tags"
1772 #  layout:
1773 #    title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1774 #    layout:
1775 #      "plot-throughput-speedup-analysis"
1776 #
1777 ## IP6_overlay - NDR
1778 #-
1779 #  type: "plot"
1780 #  title: "TSA: 78B-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1781 #  algorithm: "plot_throughput_speedup_analysis"
1782 #  output-file-type: ".html"
1783 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-ndrdisc"
1784 #  data:
1785 #    "plot-throughput-speedup-analysis"
1786 #  filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1787 #  parameters:
1788 #  - "throughput"
1789 #  - "parent"
1790 #  - "tags"
1791 #  layout:
1792 #    title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1793 #    layout:
1794 #      "plot-throughput-speedup-analysis"
1795 #
1796 ## IP6_overlay - PDR
1797 #-
1798 #  type: "plot"
1799 #  title: "TSA: 78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1800 #  algorithm: "plot_throughput_speedup_analysis"
1801 #  output-file-type: ".html"
1802 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-pdrdisc"
1803 #  data:
1804 #    "plot-throughput-speedup-analysis"
1805 #  filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1806 #  parameters:
1807 #  - "throughput"
1808 #  - "parent"
1809 #  - "tags"
1810 #  layout:
1811 #    title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1812 #    layout:
1813 #      "plot-throughput-speedup-analysis"
1814 #
1815 ## VM VHOST - NDR
1816 #-
1817 #  type: "plot"
1818 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1819 #  algorithm: "plot_throughput_speedup_analysis"
1820 #  output-file-type: ".html"
1821 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-ndrdisc"
1822 #  data:
1823 #    "plot-throughput-speedup-analysis"
1824 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1825 #  parameters:
1826 #  - "throughput"
1827 #  - "parent"
1828 #  - "tags"
1829 #  layout:
1830 #    title: "64B-*-.*vhost.*-ndrdisc"
1831 #    layout:
1832 #      "plot-throughput-speedup-analysis"
1833 #
1834 #-
1835 #  type: "plot"
1836 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1837 #  algorithm: "plot_throughput_speedup_analysis"
1838 #  output-file-type: ".html"
1839 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-ndrdisc"
1840 #  data:
1841 #    "plot-throughput-speedup-analysis"
1842 #  filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1843 #  parameters:
1844 #  - "throughput"
1845 #  - "parent"
1846 #  - "tags"
1847 #  layout:
1848 #    title: "64B-*-.*vhost.*-ndrdisc"
1849 #    layout:
1850 #      "plot-throughput-speedup-analysis"
1851 #
1852 #-
1853 #  type: "plot"
1854 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1855 #  algorithm: "plot_throughput_speedup_analysis"
1856 #  output-file-type: ".html"
1857 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-ndrdisc"
1858 #  data:
1859 #    "plot-throughput-speedup-analysis"
1860 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1861 #  parameters:
1862 #  - "throughput"
1863 #  - "parent"
1864 #  - "tags"
1865 #  layout:
1866 #    title: "64B-*-.*vhost.*-ndrdisc"
1867 #    layout:
1868 #      "plot-throughput-speedup-analysis"
1869 #
1870 #-
1871 #  type: "plot"
1872 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1873 #  algorithm: "plot_throughput_speedup_analysis"
1874 #  output-file-type: ".html"
1875 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-ndrdisc"
1876 #  data:
1877 #    "plot-throughput-speedup-analysis"
1878 #  filter: "'NIC_Intel-X710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1879 #  parameters:
1880 #  - "throughput"
1881 #  - "parent"
1882 #  - "tags"
1883 #  layout:
1884 #    title: "64B-*-.*vhost.*-ndrdisc"
1885 #    layout:
1886 #      "plot-throughput-speedup-analysis"
1887 #
1888 #-
1889 #  type: "plot"
1890 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1891 #  algorithm: "plot_throughput_speedup_analysis"
1892 #  output-file-type: ".html"
1893 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-ndrdisc"
1894 #  data:
1895 #    "plot-throughput-speedup-analysis"
1896 #  filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1897 #  parameters:
1898 #  - "throughput"
1899 #  - "parent"
1900 #  - "tags"
1901 #  layout:
1902 #    title: "64B-*-.*vhost.*-ndrdisc"
1903 #    layout:
1904 #      "plot-throughput-speedup-analysis"
1905 #
1906 ## VM VHOST - PDR
1907 #-
1908 #  type: "plot"
1909 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1910 #  algorithm: "plot_throughput_speedup_analysis"
1911 #  output-file-type: ".html"
1912 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-pdrdisc"
1913 #  data:
1914 #    "plot-throughput-speedup-analysis"
1915 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1916 #  parameters:
1917 #  - "throughput"
1918 #  - "parent"
1919 #  - "tags"
1920 #  layout:
1921 #    title: "64B-*-.*vhost.*-pdrdisc"
1922 #    layout:
1923 #      "plot-throughput-speedup-analysis"
1924 #
1925 #-
1926 #  type: "plot"
1927 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1928 #  algorithm: "plot_throughput_speedup_analysis"
1929 #  output-file-type: ".html"
1930 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-pdrdisc"
1931 #  data:
1932 #    "plot-throughput-speedup-analysis"
1933 #  filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1934 #  parameters:
1935 #  - "throughput"
1936 #  - "parent"
1937 #  - "tags"
1938 #  layout:
1939 #    title: "64B-*-.*vhost.*-pdrdisc"
1940 #    layout:
1941 #      "plot-throughput-speedup-analysis"
1942 #
1943 #-
1944 #  type: "plot"
1945 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1946 #  algorithm: "plot_throughput_speedup_analysis"
1947 #  output-file-type: ".html"
1948 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-pdrdisc"
1949 #  data:
1950 #    "plot-throughput-speedup-analysis"
1951 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1952 #  parameters:
1953 #  - "throughput"
1954 #  - "parent"
1955 #  - "tags"
1956 #  layout:
1957 #    title: "64B-*-.*vhost.*-pdrdisc"
1958 #    layout:
1959 #      "plot-throughput-speedup-analysis"
1960 #
1961 #-
1962 #  type: "plot"
1963 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1964 #  algorithm: "plot_throughput_speedup_analysis"
1965 #  output-file-type: ".html"
1966 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-pdrdisc"
1967 #  data:
1968 #    "plot-throughput-speedup-analysis"
1969 #  filter: "'NIC_Intel-X710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1970 #  parameters:
1971 #  - "throughput"
1972 #  - "parent"
1973 #  - "tags"
1974 #  layout:
1975 #    title: "64B-*-.*vhost.*-pdrdisc"
1976 #    layout:
1977 #      "plot-throughput-speedup-analysis"
1978 #
1979 #-
1980 #  type: "plot"
1981 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1982 #  algorithm: "plot_throughput_speedup_analysis"
1983 #  output-file-type: ".html"
1984 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-pdrdisc"
1985 #  data:
1986 #    "plot-throughput-speedup-analysis"
1987 #  filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1988 #  parameters:
1989 #  - "throughput"
1990 #  - "parent"
1991 #  - "tags"
1992 #  layout:
1993 #    title: "64B-*-.*vhost.*-pdrdisc"
1994 #    layout:
1995 #      "plot-throughput-speedup-analysis"
1996 #
1997 ## CRYPTO - NDR
1998 #-
1999 #  type: "plot"
2000 #  title: "TSA: 64B-*-.*ipsec.*-ndrdisc"
2001 #  algorithm: "plot_throughput_speedup_analysis"
2002 #  output-file-type: ".html"
2003 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-ndrdisc"
2004 #  data:
2005 #    "plot-throughput-speedup-analysis"
2006 #  filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2007 #  parameters:
2008 #  - "throughput"
2009 #  - "parent"
2010 #  - "tags"
2011 #  layout:
2012 #    title: "64B-*-.*ipsec.*-ndrdisc"
2013 #    layout:
2014 #      "plot-throughput-speedup-analysis"
2015 #
2016 ## CRYPTO - PDR
2017 #-
2018 #  type: "plot"
2019 #  title: "TSA: 64B-*-.*ipsec.*-pdrdisc"
2020 #  algorithm: "plot_throughput_speedup_analysis"
2021 #  output-file-type: ".html"
2022 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-pdrdisc"
2023 #  data:
2024 #    "plot-throughput-speedup-analysis"
2025 #  filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2026 #  parameters:
2027 #  - "throughput"
2028 #  - "parent"
2029 #  - "tags"
2030 #  layout:
2031 #    title: "64B-*-.*ipsec.*-pdrdisc"
2032 #    layout:
2033 #      "plot-throughput-speedup-analysis"
2034 #
2035 ## Container memif - NDR
2036 #-
2037 #  type: "plot"
2038 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2039 #  algorithm: "plot_throughput_speedup_analysis"
2040 #  output-file-type: ".html"
2041 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-ndrdisc"
2042 #  data:
2043 #    "plot-throughput-speedup-analysis"
2044 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2045 #  parameters:
2046 #  - "throughput"
2047 #  - "parent"
2048 #  - "tags"
2049 #  layout:
2050 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2051 #    layout:
2052 #      "plot-throughput-speedup-analysis"
2053 #
2054 #-
2055 #  type: "plot"
2056 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2057 #  algorithm: "plot_throughput_speedup_analysis"
2058 #  output-file-type: ".html"
2059 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-pdrdisc"
2060 #  data:
2061 #    "plot-throughput-speedup-analysis"
2062 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2063 #  parameters:
2064 #  - "throughput"
2065 #  - "parent"
2066 #  - "tags"
2067 #  layout:
2068 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2069 #    layout:
2070 #      "plot-throughput-speedup-analysis"
2071 #
2072 ## Container orchestrated - NDR
2073 #-
2074 #  type: "plot"
2075 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2076 #  algorithm: "plot_throughput_speedup_analysis"
2077 #  output-file-type: ".html"
2078 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-ndrdisc"
2079 #  data:
2080 #    "plot-ligato-throughput-speedup-analysis"
2081 #  filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2082 #  parameters:
2083 #  - "throughput"
2084 #  - "parent"
2085 #  - "tags"
2086 #  layout:
2087 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2088 #    layout:
2089 #      "plot-throughput-speedup-analysis"
2090 #
2091 #-
2092 #  type: "plot"
2093 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2094 #  algorithm: "plot_throughput_speedup_analysis"
2095 #  output-file-type: ".html"
2096 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-ndrdisc"
2097 #  data:
2098 #    "plot-ligato-throughput-speedup-analysis"
2099 #  filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2100 #  parameters:
2101 #  - "throughput"
2102 #  - "parent"
2103 #  - "tags"
2104 #  layout:
2105 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2106 #    layout:
2107 #      "plot-throughput-speedup-analysis"
2108 #
2109 ## Container orchestrated - PDR
2110 #-
2111 #  type: "plot"
2112 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2113 #  algorithm: "plot_throughput_speedup_analysis"
2114 #  output-file-type: ".html"
2115 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-pdrdisc"
2116 #  data:
2117 #    "plot-ligato-throughput-speedup-analysis"
2118 #  filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and ''PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2119 #  parameters:
2120 #  - "throughput"
2121 #  - "parent"
2122 #  - "tags"
2123 #  layout:
2124 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2125 #    layout:
2126 #      "plot-throughput-speedup-analysis"
2127 #
2128 #-
2129 #  type: "plot"
2130 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2131 #  algorithm: "plot_throughput_speedup_analysis"
2132 #  output-file-type: ".html"
2133 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-pdrdisc"
2134 #  data:
2135 #    "plot-ligato-throughput-speedup-analysis"
2136 #  filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2137 #  parameters:
2138 #  - "throughput"
2139 #  - "parent"
2140 #  - "tags"
2141 #  layout:
2142 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2143 #    layout:
2144 #      "plot-throughput-speedup-analysis"
2145
2146 # Plot packets per second
2147
2148 # VPP L2 sel1
2149 -
2150   type: "plot"
2151   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2152   algorithm: "plot_performance_box"
2153   output-file-type: ".html"
2154   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
2155   data:
2156     "plot-vpp-throughput-latency"
2157   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2158   # each tag is enclosed with ' (apostrophe).
2159   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2160   parameters:
2161   - "throughput"
2162   - "parent"
2163   traces:
2164     hoverinfo: "x+y"
2165     boxpoints: "outliers"
2166     whiskerwidth: 0
2167   layout:
2168     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2169     layout:
2170       "plot-throughput"
2171
2172 -
2173   type: "plot"
2174   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2175   algorithm: "plot_performance_box"
2176   output-file-type: ".html"
2177   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
2178   data:
2179     "plot-vpp-throughput-latency"
2180   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2181   parameters:
2182   - "throughput"
2183   - "parent"
2184   traces:
2185     hoverinfo: "x+y"
2186     boxpoints: "outliers"
2187     whiskerwidth: 0
2188   layout:
2189     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2190     layout:
2191       "plot-throughput"
2192
2193 -
2194   type: "plot"
2195   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2196   algorithm: "plot_performance_box"
2197   output-file-type: ".html"
2198   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
2199   data:
2200     "plot-vpp-throughput-latency"
2201   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2202   parameters:
2203   - "throughput"
2204   - "parent"
2205   traces:
2206     hoverinfo: "x+y"
2207     boxpoints: "outliers"
2208     whiskerwidth: 0
2209   layout:
2210     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2211     layout:
2212       "plot-throughput"
2213
2214 -
2215   type: "plot"
2216   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2217   algorithm: "plot_performance_box"
2218   output-file-type: ".html"
2219   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
2220   data:
2221     "plot-vpp-throughput-latency"
2222   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2223   parameters:
2224   - "throughput"
2225   - "parent"
2226   traces:
2227     hoverinfo: "x+y"
2228     boxpoints: "outliers"
2229     whiskerwidth: 0
2230   layout:
2231     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2232     layout:
2233       "plot-throughput"
2234
2235 # VPP L2 sel2
2236 -
2237   type: "plot"
2238   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2239   algorithm: "plot_performance_box"
2240   output-file-type: ".html"
2241   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
2242   data:
2243     "plot-vpp-throughput-latency"
2244   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2245   parameters:
2246   - "throughput"
2247   - "parent"
2248   traces:
2249     hoverinfo: "x+y"
2250     boxpoints: "outliers"
2251     whiskerwidth: 0
2252   layout:
2253     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2254     layout:
2255       "plot-throughput"
2256
2257 -
2258   type: "plot"
2259   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2260   algorithm: "plot_performance_box"
2261   output-file-type: ".html"
2262   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
2263   data:
2264     "plot-vpp-throughput-latency"
2265   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2266   parameters:
2267   - "throughput"
2268   - "parent"
2269   traces:
2270     hoverinfo: "x+y"
2271     boxpoints: "outliers"
2272     whiskerwidth: 0
2273   layout:
2274     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2275     layout:
2276       "plot-throughput"
2277
2278 -
2279   type: "plot"
2280   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2281   algorithm: "plot_performance_box"
2282   output-file-type: ".html"
2283   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
2284   data:
2285     "plot-vpp-throughput-latency"
2286   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2287   parameters:
2288   - "throughput"
2289   - "parent"
2290   traces:
2291     hoverinfo: "x+y"
2292     boxpoints: "outliers"
2293     whiskerwidth: 0
2294   layout:
2295     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2296     layout:
2297       "plot-throughput"
2298
2299 -
2300   type: "plot"
2301   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2302   algorithm: "plot_performance_box"
2303   output-file-type: ".html"
2304   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
2305   data:
2306     "plot-vpp-throughput-latency"
2307   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2308   parameters:
2309   - "throughput"
2310   - "parent"
2311   traces:
2312     hoverinfo: "x+y"
2313     boxpoints: "outliers"
2314     whiskerwidth: 0
2315   layout:
2316     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2317     layout:
2318       "plot-throughput"
2319
2320 # VPP IP4
2321 -
2322   type: "plot"
2323   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2324   algorithm: "plot_performance_box"
2325   output-file-type: ".html"
2326   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
2327   data:
2328     "plot-vpp-throughput-latency"
2329   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2330   parameters:
2331   - "throughput"
2332   - "parent"
2333   traces:
2334     hoverinfo: "x+y"
2335     boxpoints: "outliers"
2336     whiskerwidth: 0
2337   layout:
2338     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2339     layout:
2340       "plot-throughput"
2341
2342 -
2343   type: "plot"
2344   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2345   algorithm: "plot_performance_box"
2346   output-file-type: ".html"
2347   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
2348   data:
2349     "plot-vpp-throughput-latency"
2350   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2351   parameters:
2352   - "throughput"
2353   - "parent"
2354   traces:
2355     hoverinfo: "x+y"
2356     boxpoints: "outliers"
2357     whiskerwidth: 0
2358   layout:
2359     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2360     layout:
2361       "plot-throughput"
2362
2363 -
2364   type: "plot"
2365   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2366   algorithm: "plot_performance_box"
2367   output-file-type: ".html"
2368   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
2369   data:
2370     "plot-vpp-throughput-latency"
2371   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2372   parameters:
2373   - "throughput"
2374   - "parent"
2375   traces:
2376     hoverinfo: "x+y"
2377     boxpoints: "outliers"
2378     whiskerwidth: 0
2379   layout:
2380     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2381     layout:
2382       "plot-throughput"
2383
2384 -
2385   type: "plot"
2386   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2387   algorithm: "plot_performance_box"
2388   output-file-type: ".html"
2389   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
2390   data:
2391     "plot-vpp-throughput-latency"
2392   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2393   parameters:
2394   - "throughput"
2395   - "parent"
2396   traces:
2397     hoverinfo: "x+y"
2398     boxpoints: "outliers"
2399     whiskerwidth: 0
2400   layout:
2401     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2402     layout:
2403       "plot-throughput"
2404
2405 # VPP IP6
2406 -
2407   type: "plot"
2408   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2409   algorithm: "plot_performance_box"
2410   output-file-type: ".html"
2411   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
2412   data:
2413     "plot-vpp-throughput-latency"
2414   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2415   parameters:
2416   - "throughput"
2417   - "parent"
2418   traces:
2419     hoverinfo: "x+y"
2420     boxpoints: "outliers"
2421     whiskerwidth: 0
2422   layout:
2423     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2424     layout:
2425       "plot-throughput"
2426
2427 -
2428   type: "plot"
2429   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2430   algorithm: "plot_performance_box"
2431   output-file-type: ".html"
2432   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
2433   data:
2434     "plot-vpp-throughput-latency"
2435   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2436   parameters:
2437   - "throughput"
2438   - "parent"
2439   traces:
2440     hoverinfo: "x+y"
2441     boxpoints: "outliers"
2442     whiskerwidth: 0
2443   layout:
2444     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2445     layout:
2446       "plot-throughput"
2447
2448 -
2449   type: "plot"
2450   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2451   algorithm: "plot_performance_box"
2452   output-file-type: ".html"
2453   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
2454   data:
2455     "plot-vpp-throughput-latency"
2456   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2457   parameters:
2458   - "throughput"
2459   - "parent"
2460   traces:
2461     hoverinfo: "x+y"
2462     boxpoints: "outliers"
2463     whiskerwidth: 0
2464   layout:
2465     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2466     layout:
2467       "plot-throughput"
2468
2469 -
2470   type: "plot"
2471   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2472   algorithm: "plot_performance_box"
2473   output-file-type: ".html"
2474   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
2475   data:
2476     "plot-vpp-throughput-latency"
2477   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2478   parameters:
2479   - "throughput"
2480   - "parent"
2481   traces:
2482     hoverinfo: "x+y"
2483     boxpoints: "outliers"
2484     whiskerwidth: 0
2485   layout:
2486     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2487     layout:
2488       "plot-throughput"
2489
2490 # VPP IP4_overlay
2491 -
2492   type: "plot"
2493   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2494   algorithm: "plot_performance_box"
2495   output-file-type: ".html"
2496   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
2497   data:
2498     "plot-vpp-throughput-latency"
2499   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2500   parameters:
2501   - "throughput"
2502   - "parent"
2503   traces:
2504     hoverinfo: "x+y"
2505     boxpoints: "outliers"
2506     whiskerwidth: 0
2507   layout:
2508     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2509     layout:
2510       "plot-throughput"
2511
2512 -
2513   type: "plot"
2514   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2515   algorithm: "plot_performance_box"
2516   output-file-type: ".html"
2517   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
2518   data:
2519     "plot-vpp-throughput-latency"
2520   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2521   parameters:
2522   - "throughput"
2523   - "parent"
2524   traces:
2525     hoverinfo: "x+y"
2526     boxpoints: "outliers"
2527     whiskerwidth: 0
2528   layout:
2529     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2530     layout:
2531       "plot-throughput"
2532
2533 -
2534   type: "plot"
2535   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2536   algorithm: "plot_performance_box"
2537   output-file-type: ".html"
2538   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2539   data:
2540     "plot-vpp-throughput-latency"
2541   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2542   parameters:
2543   - "throughput"
2544   - "parent"
2545   traces:
2546     hoverinfo: "x+y"
2547     boxpoints: "outliers"
2548     whiskerwidth: 0
2549   layout:
2550     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2551     layout:
2552       "plot-throughput"
2553
2554 -
2555   type: "plot"
2556   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2557   algorithm: "plot_performance_box"
2558   output-file-type: ".html"
2559   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2560   data:
2561     "plot-vpp-throughput-latency"
2562   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2563   parameters:
2564   - "throughput"
2565   - "parent"
2566   traces:
2567     hoverinfo: "x+y"
2568     boxpoints: "outliers"
2569     whiskerwidth: 0
2570   layout:
2571     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2572     layout:
2573       "plot-throughput"
2574
2575 # VPP IP6_overlay
2576 -
2577   type: "plot"
2578   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2579   algorithm: "plot_performance_box"
2580   output-file-type: ".html"
2581   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2582   data:
2583     "plot-vpp-throughput-latency"
2584   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2585   parameters:
2586   - "throughput"
2587   - "parent"
2588   traces:
2589     hoverinfo: "x+y"
2590     boxpoints: "outliers"
2591     whiskerwidth: 0
2592   layout:
2593     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2594     xaxis:
2595       autorange: True
2596       autotick: False
2597       fixedrange: False
2598       gridcolor: "rgb(238, 238, 238)"
2599       linecolor: "rgb(238, 238, 238)"
2600       linewidth: 1
2601       showgrid: True
2602       showline: True
2603       showticklabels: True
2604       tickcolor: "rgb(238, 238, 238)"
2605       tickmode: "linear"
2606       title: "Indexed Test Cases"
2607       zeroline: False
2608     yaxis:
2609       gridcolor: "rgb(238, 238, 238)'"
2610       hoverformat: ".4s"
2611       linecolor: "rgb(238, 238, 238)"
2612       linewidth: 1
2613       range: [2000000, 6000000]
2614       showgrid: True
2615       showline: True
2616       showticklabels: True
2617       tickcolor: "rgb(238, 238, 238)"
2618       title: "Packets Per Second [pps]"
2619       zeroline: False
2620     boxmode: "group"
2621     boxgroupgap: 0.5
2622     autosize: False
2623     margin:
2624       t: 50
2625       b: 20
2626       l: 50
2627       r: 20
2628     showlegend: True
2629     legend:
2630       orientation: "h"
2631     width: 700
2632     height: 1000
2633
2634 -
2635   type: "plot"
2636   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2637   algorithm: "plot_performance_box"
2638   output-file-type: ".html"
2639   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2640   data:
2641     "plot-vpp-throughput-latency"
2642   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2643   parameters:
2644   - "throughput"
2645   - "parent"
2646   traces:
2647     hoverinfo: "x+y"
2648     boxpoints: "outliers"
2649     whiskerwidth: 0
2650   layout:
2651     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2652     layout:
2653       "plot-throughput"
2654
2655 -
2656   type: "plot"
2657   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2658   algorithm: "plot_performance_box"
2659   output-file-type: ".html"
2660   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2661   data:
2662     "plot-vpp-throughput-latency"
2663   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2664   parameters:
2665   - "throughput"
2666   - "parent"
2667   traces:
2668     hoverinfo: "x+y"
2669     boxpoints: "outliers"
2670     whiskerwidth: 0
2671   layout:
2672     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2673     layout:
2674       "plot-throughput"
2675
2676 -
2677   type: "plot"
2678   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2679   algorithm: "plot_performance_box"
2680   output-file-type: ".html"
2681   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2682   data:
2683     "plot-vpp-throughput-latency"
2684   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2685   parameters:
2686   - "throughput"
2687   - "parent"
2688   traces:
2689     hoverinfo: "x+y"
2690     boxpoints: "outliers"
2691     whiskerwidth: 0
2692   layout:
2693     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2694     xaxis:
2695       autorange: True
2696       autotick: False
2697       fixedrange: False
2698       gridcolor: "rgb(238, 238, 238)"
2699       linecolor: "rgb(238, 238, 238)"
2700       linewidth: 1
2701       showgrid: True
2702       showline: True
2703       showticklabels: True
2704       tickcolor: "rgb(238, 238, 238)"
2705       tickmode: "linear"
2706       title: "Indexed Test Cases"
2707       zeroline: False
2708     yaxis:
2709       gridcolor: "rgb(238, 238, 238)'"
2710       hoverformat: ".4s"
2711       linecolor: "rgb(238, 238, 238)"
2712       linewidth: 1
2713       range: [4000000, 12000000]
2714       showgrid: True
2715       showline: True
2716       showticklabels: True
2717       tickcolor: "rgb(238, 238, 238)"
2718       title: "Packets Per Second [pps]"
2719       zeroline: False
2720     boxmode: "group"
2721     boxgroupgap: 0.5
2722     autosize: False
2723     margin:
2724       t: 50
2725       b: 20
2726       l: 50
2727       r: 20
2728     showlegend: True
2729     legend:
2730       orientation: "h"
2731     width: 700
2732     height: 1000
2733
2734 # VPP VM VHOST
2735 -
2736   type: "plot"
2737   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2738   algorithm: "plot_performance_box"
2739   output-file-type: ".html"
2740   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2741   data:
2742     "plot-vpp-throughput-latency"
2743   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2744   parameters:
2745   - "throughput"
2746   - "parent"
2747   traces:
2748     hoverinfo: "x+y"
2749     boxpoints: "outliers"
2750     whiskerwidth: 0
2751   layout:
2752     title: "64B-1t1c-.*vhost.*-ndrdisc"
2753     xaxis:
2754       autorange: True
2755       autotick: False
2756       fixedrange: False
2757       gridcolor: "rgb(238, 238, 238)"
2758       linecolor: "rgb(238, 238, 238)"
2759       linewidth: 1
2760       showgrid: True
2761       showline: True
2762       showticklabels: True
2763       tickcolor: "rgb(238, 238, 238)"
2764       tickmode: "linear"
2765       title: "Indexed Test Cases"
2766       zeroline: False
2767     yaxis:
2768       gridcolor: "rgb(238, 238, 238)'"
2769       hoverformat: ".4s"
2770       linecolor: "rgb(238, 238, 238)"
2771       linewidth: 1
2772       range: [0, 3500000]
2773       showgrid: True
2774       showline: True
2775       showticklabels: True
2776       tickcolor: "rgb(238, 238, 238)"
2777       title: "Packets Per Second [pps]"
2778       zeroline: False
2779     boxmode: "group"
2780     boxgroupgap: 0.5
2781     autosize: False
2782     margin:
2783       t: 50
2784       b: 20
2785       l: 50
2786       r: 20
2787     showlegend: True
2788     legend:
2789       orientation: "h"
2790     width: 700
2791     height: 1000
2792
2793 -
2794   type: "plot"
2795   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2796   algorithm: "plot_performance_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2802   parameters:
2803   - "throughput"
2804   - "parent"
2805   traces:
2806     hoverinfo: "x+y"
2807     boxpoints: "outliers"
2808     whiskerwidth: 0
2809   layout:
2810     title: "64B-2t2c-.*vhost.*-ndrdisc"
2811     layout:
2812       "plot-throughput"
2813
2814 -
2815   type: "plot"
2816   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2817   algorithm: "plot_performance_box"
2818   output-file-type: ".html"
2819   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2820   data:
2821     "plot-vpp-throughput-latency"
2822   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2823   parameters:
2824   - "throughput"
2825   - "parent"
2826   traces:
2827     hoverinfo: "x+y"
2828     boxpoints: "outliers"
2829     whiskerwidth: 0
2830   layout:
2831     title: "64B-1t1c-.*vhost.*-pdrdisc"
2832     layout:
2833       "plot-throughput"
2834
2835 -
2836   type: "plot"
2837   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2838   algorithm: "plot_performance_box"
2839   output-file-type: ".html"
2840   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2841   data:
2842     "plot-vpp-throughput-latency"
2843   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2844   parameters:
2845   - "throughput"
2846   - "parent"
2847   traces:
2848     hoverinfo: "x+y"
2849     boxpoints: "outliers"
2850     whiskerwidth: 0
2851   layout:
2852     title: "64B-2t2c-.*vhost.*-pdrdisc"
2853     layout:
2854       "plot-throughput"
2855
2856 # VPP VM VHOST SELECTION
2857 -
2858   type: "plot"
2859   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2860   algorithm: "plot_performance_box"
2861   output-file-type: ".html"
2862   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2863   data:
2864     "plot-vpp-throughput-latency"
2865   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2866   parameters:
2867   - "throughput"
2868   - "parent"
2869   traces:
2870     hoverinfo: "x+y"
2871     boxpoints: "outliers"
2872     whiskerwidth: 0
2873   layout:
2874     title: "64B-1t1c-.*vhost.*-ndrdisc"
2875     layout:
2876       "plot-throughput"
2877
2878 -
2879   type: "plot"
2880   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2881   algorithm: "plot_performance_box"
2882   output-file-type: ".html"
2883   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2884   data:
2885     "plot-vpp-throughput-latency"
2886   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2887   parameters:
2888   - "throughput"
2889   - "parent"
2890   traces:
2891     hoverinfo: "x+y"
2892     boxpoints: "outliers"
2893     whiskerwidth: 0
2894   layout:
2895     title: "64B-2t2c-.*vhost.*-ndrdisc"
2896     layout:
2897       "plot-throughput"
2898
2899 -
2900   type: "plot"
2901   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2902   algorithm: "plot_performance_box"
2903   output-file-type: ".html"
2904   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2905   data:
2906     "plot-vpp-throughput-latency"
2907   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2908   parameters:
2909   - "throughput"
2910   - "parent"
2911   traces:
2912     hoverinfo: "x+y"
2913     boxpoints: "outliers"
2914     whiskerwidth: 0
2915   layout:
2916     title: "64B-1t1c-.*vhost.*-pdrdisc"
2917     layout:
2918       "plot-throughput"
2919
2920 -
2921   type: "plot"
2922   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2923   algorithm: "plot_performance_box"
2924   output-file-type: ".html"
2925   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2926   data:
2927     "plot-vpp-throughput-latency"
2928   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2929   parameters:
2930   - "throughput"
2931   - "parent"
2932   traces:
2933     hoverinfo: "x+y"
2934     boxpoints: "outliers"
2935     whiskerwidth: 0
2936   layout:
2937     title: "64B-2t2c-.*vhost.*-pdrdisc"
2938     layout:
2939       "plot-throughput"
2940
2941 # VPP CRYPTO
2942 -
2943   type: "plot"
2944   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2945   algorithm: "plot_performance_box"
2946   output-file-type: ".html"
2947   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2948   data:
2949     "plot-vpp-throughput-latency"
2950   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2951   parameters:
2952   - "throughput"
2953   - "parent"
2954   traces:
2955     hoverinfo: "x+y"
2956     boxpoints: "outliers"
2957     whiskerwidth: 0
2958   layout:
2959     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2960     layout:
2961       "plot-throughput"
2962
2963 -
2964   type: "plot"
2965   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2966   algorithm: "plot_performance_box"
2967   output-file-type: ".html"
2968   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2969   data:
2970     "plot-vpp-throughput-latency"
2971   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2972   parameters:
2973   - "throughput"
2974   - "parent"
2975   traces:
2976     hoverinfo: "x+y"
2977     boxpoints: "outliers"
2978     whiskerwidth: 0
2979   layout:
2980     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2981     layout:
2982       "plot-throughput"
2983
2984 -
2985   type: "plot"
2986   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2987   algorithm: "plot_performance_box"
2988   output-file-type: ".html"
2989   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2990   data:
2991     "plot-vpp-throughput-latency"
2992   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2993   parameters:
2994   - "throughput"
2995   - "parent"
2996   traces:
2997     hoverinfo: "x+y"
2998     boxpoints: "outliers"
2999     whiskerwidth: 0
3000   layout:
3001     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3002     layout:
3003       "plot-throughput"
3004
3005 -
3006   type: "plot"
3007   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3008   algorithm: "plot_performance_box"
3009   output-file-type: ".html"
3010   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3011   data:
3012     "plot-vpp-throughput-latency"
3013   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3014   parameters:
3015   - "throughput"
3016   - "parent"
3017   traces:
3018     hoverinfo: "x+y"
3019     boxpoints: "outliers"
3020     whiskerwidth: 0
3021   layout:
3022     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3023     layout:
3024       "plot-throughput"
3025
3026 # DPDK
3027 -
3028   type: "plot"
3029   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3030   algorithm: "plot_performance_box"
3031   output-file-type: ".html"
3032   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3033   data:
3034     "plot-dpdk-throughput-latency"
3035   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3036   parameters:
3037   - "throughput"
3038   - "parent"
3039   traces:
3040     hoverinfo: "x+y"
3041     boxpoints: "outliers"
3042     whiskerwidth: 0
3043   layout:
3044     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3045     layout:
3046       "plot-throughput"
3047
3048 -
3049   type: "plot"
3050   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3051   algorithm: "plot_performance_box"
3052   output-file-type: ".html"
3053   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3054   data:
3055     "plot-dpdk-throughput-latency"
3056   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3057   parameters:
3058   - "throughput"
3059   - "parent"
3060   traces:
3061     hoverinfo: "x+y"
3062     boxpoints: "outliers"
3063     whiskerwidth: 0
3064   layout:
3065     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3066     layout:
3067       "plot-throughput"
3068
3069 -
3070   type: "plot"
3071   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3072   algorithm: "plot_performance_box"
3073   output-file-type: ".html"
3074   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3075   data:
3076     "plot-dpdk-throughput-latency"
3077   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3078   parameters:
3079   - "throughput"
3080   - "parent"
3081   traces:
3082     hoverinfo: "x+y"
3083     boxpoints: "outliers"
3084     whiskerwidth: 0
3085   layout:
3086     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3087     xaxis:
3088       autorange: True
3089       autotick: False
3090       fixedrange: False
3091       gridcolor: "rgb(238, 238, 238)"
3092       linecolor: "rgb(238, 238, 238)"
3093       linewidth: 1
3094       showgrid: True
3095       showline: True
3096       showticklabels: True
3097       tickcolor: "rgb(238, 238, 238)"
3098       tickmode: "linear"
3099       title: "Indexed Test Cases"
3100       zeroline: False
3101     yaxis:
3102       gridcolor: "rgb(238, 238, 238)'"
3103       hoverformat: ".4s"
3104       linecolor: "rgb(238, 238, 238)"
3105       linewidth: 1
3106       range: [2000000, 12000000]
3107       showgrid: True
3108       showline: True
3109       showticklabels: True
3110       tickcolor: "rgb(238, 238, 238)"
3111       title: "Packets Per Second [pps]"
3112       zeroline: False
3113     boxmode: "group"
3114     boxgroupgap: 0.5
3115     autosize: False
3116     margin:
3117       t: 50
3118       b: 20
3119       l: 50
3120       r: 20
3121     showlegend: True
3122     legend:
3123       orientation: "h"
3124     width: 700
3125     height: 1000
3126
3127 -
3128   type: "plot"
3129   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3130   algorithm: "plot_performance_box"
3131   output-file-type: ".html"
3132   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3133   data:
3134     "plot-dpdk-throughput-latency"
3135   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3136   parameters:
3137   - "throughput"
3138   - "parent"
3139   traces:
3140     hoverinfo: "x+y"
3141     boxpoints: "outliers"
3142     whiskerwidth: 0
3143   layout:
3144     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3145     xaxis:
3146       autorange: True
3147       autotick: False
3148       fixedrange: False
3149       gridcolor: "rgb(238, 238, 238)"
3150       linecolor: "rgb(238, 238, 238)"
3151       linewidth: 1
3152       showgrid: True
3153       showline: True
3154       showticklabels: True
3155       tickcolor: "rgb(238, 238, 238)"
3156       tickmode: "linear"
3157       title: "Indexed Test Cases"
3158       zeroline: False
3159     yaxis:
3160       gridcolor: "rgb(238, 238, 238)'"
3161       hoverformat: ".4s"
3162       linecolor: "rgb(238, 238, 238)"
3163       linewidth: 1
3164       range: [2000000, 12000000]
3165       showgrid: True
3166       showline: True
3167       showticklabels: True
3168       tickcolor: "rgb(238, 238, 238)"
3169       title: "Packets Per Second [pps]"
3170       zeroline: False
3171     boxmode: "group"
3172     boxgroupgap: 0.5
3173     autosize: False
3174     margin:
3175       t: 50
3176       b: 20
3177       l: 50
3178       r: 20
3179     showlegend: True
3180     legend:
3181       orientation: "h"
3182     width: 700
3183     height: 1000
3184
3185 -
3186   type: "plot"
3187   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3188   algorithm: "plot_performance_box"
3189   output-file-type: ".html"
3190   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3191   data:
3192     "plot-dpdk-throughput-latency"
3193   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3194   parameters:
3195   - "throughput"
3196   - "parent"
3197   traces:
3198     hoverinfo: "x+y"
3199     boxpoints: "outliers"
3200     whiskerwidth: 0
3201   layout:
3202     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3203     layout:
3204       "plot-throughput"
3205
3206 -
3207   type: "plot"
3208   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3209   algorithm: "plot_performance_box"
3210   output-file-type: ".html"
3211   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3212   data:
3213     "plot-dpdk-throughput-latency"
3214   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3215   parameters:
3216   - "throughput"
3217   - "parent"
3218   traces:
3219     hoverinfo: "x+y"
3220     boxpoints: "outliers"
3221     whiskerwidth: 0
3222   layout:
3223     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3224     layout:
3225       "plot-throughput"
3226
3227 -
3228   type: "plot"
3229   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3230   algorithm: "plot_performance_box"
3231   output-file-type: ".html"
3232   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3233   data:
3234     "plot-dpdk-throughput-latency"
3235   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3236   parameters:
3237   - "throughput"
3238   - "parent"
3239   traces:
3240     hoverinfo: "x+y"
3241     boxpoints: "outliers"
3242     whiskerwidth: 0
3243   layout:
3244     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3245     xaxis:
3246       autorange: True
3247       autotick: False
3248       fixedrange: False
3249       gridcolor: "rgb(238, 238, 238)"
3250       linecolor: "rgb(238, 238, 238)"
3251       linewidth: 1
3252       showgrid: True
3253       showline: True
3254       showticklabels: True
3255       tickcolor: "rgb(238, 238, 238)"
3256       tickmode: "linear"
3257       title: "Indexed Test Cases"
3258       zeroline: False
3259     yaxis:
3260       gridcolor: "rgb(238, 238, 238)'"
3261       hoverformat: ".4s"
3262       linecolor: "rgb(238, 238, 238)"
3263       linewidth: 1
3264       range: [20000000, 30000000]
3265       showgrid: True
3266       showline: True
3267       showticklabels: True
3268       tickcolor: "rgb(238, 238, 238)"
3269       title: "Packets Per Second [pps]"
3270       zeroline: False
3271     boxmode: "group"
3272     boxgroupgap: 0.5
3273     autosize: False
3274     margin:
3275       t: 50
3276       b: 20
3277       l: 50
3278       r: 20
3279     showlegend: True
3280     legend:
3281       orientation: "h"
3282     width: 700
3283     height: 1000
3284
3285 -
3286   type: "plot"
3287   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3288   algorithm: "plot_performance_box"
3289   output-file-type: ".html"
3290   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3291   data:
3292     "plot-dpdk-throughput-latency"
3293   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3294   parameters:
3295   - "throughput"
3296   - "parent"
3297   traces:
3298     hoverinfo: "x+y"
3299     boxpoints: "outliers"
3300     whiskerwidth: 0
3301   layout:
3302     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3303     xaxis:
3304       autorange: True
3305       autotick: False
3306       fixedrange: False
3307       gridcolor: "rgb(238, 238, 238)"
3308       linecolor: "rgb(238, 238, 238)"
3309       linewidth: 1
3310       showgrid: True
3311       showline: True
3312       showticklabels: True
3313       tickcolor: "rgb(238, 238, 238)"
3314       tickmode: "linear"
3315       title: "Indexed Test Cases"
3316       zeroline: False
3317     yaxis:
3318       gridcolor: "rgb(238, 238, 238)'"
3319       hoverformat: ".4s"
3320       linecolor: "rgb(238, 238, 238)"
3321       linewidth: 1
3322       range: [20000000, 30000000]
3323       showgrid: True
3324       showline: True
3325       showticklabels: True
3326       tickcolor: "rgb(238, 238, 238)"
3327       title: "Packets Per Second [pps]"
3328       zeroline: False
3329     boxmode: "group"
3330     boxgroupgap: 0.5
3331     autosize: False
3332     margin:
3333       t: 50
3334       b: 20
3335       l: 50
3336       r: 20
3337     showlegend: True
3338     legend:
3339       orientation: "h"
3340     width: 700
3341     height: 1000
3342
3343 # Plot latency
3344
3345 # VPP L2 sel1
3346 -
3347   type: "plot"
3348   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3349   algorithm: "plot_latency_box"
3350   output-file-type: ".html"
3351   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3352   data:
3353     "plot-vpp-throughput-latency"
3354   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3355   parameters:
3356   - "latency"
3357   - "parent"
3358   traces:
3359     boxmean: False
3360   layout:
3361     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3362     layout:
3363       "plot-latency"
3364
3365 -
3366   type: "plot"
3367   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3368   algorithm: "plot_latency_box"
3369   output-file-type: ".html"
3370   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3371   data:
3372     "plot-vpp-throughput-latency"
3373   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3374   parameters:
3375   - "latency"
3376   - "parent"
3377   traces:
3378     boxmean: False
3379   layout:
3380     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3381     layout:
3382       "plot-latency"
3383
3384 # VPP L2 sel2
3385 -
3386   type: "plot"
3387   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3388   algorithm: "plot_latency_box"
3389   output-file-type: ".html"
3390   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3391   data:
3392     "plot-vpp-throughput-latency"
3393   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3394   parameters:
3395   - "latency"
3396   - "parent"
3397   traces:
3398     boxmean: False
3399   layout:
3400     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3401     layout:
3402       "plot-latency"
3403
3404 -
3405   type: "plot"
3406   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3407   algorithm: "plot_latency_box"
3408   output-file-type: ".html"
3409   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3410   data:
3411     "plot-vpp-throughput-latency"
3412   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3413   parameters:
3414   - "latency"
3415   - "parent"
3416   traces:
3417     boxmean: False
3418   layout:
3419     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3420     layout:
3421       "plot-latency"
3422
3423 # VPP IP4
3424 -
3425   type: "plot"
3426   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3427   algorithm: "plot_latency_box"
3428   output-file-type: ".html"
3429   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3430   data:
3431     "plot-vpp-throughput-latency"
3432   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3433   parameters:
3434   - "latency"
3435   - "parent"
3436   traces:
3437     boxmean: False
3438   layout:
3439     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3440     layout:
3441       "plot-latency"
3442
3443 -
3444   type: "plot"
3445   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3446   algorithm: "plot_latency_box"
3447   output-file-type: ".html"
3448   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3449   data:
3450     "plot-vpp-throughput-latency"
3451   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3452   parameters:
3453   - "latency"
3454   - "parent"
3455   traces:
3456     boxmean: False
3457   layout:
3458     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3459     layout:
3460       "plot-latency"
3461
3462 # VPP IP6
3463 -
3464   type: "plot"
3465   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3466   algorithm: "plot_latency_box"
3467   output-file-type: ".html"
3468   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3469   data:
3470     "plot-vpp-throughput-latency"
3471   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3472   parameters:
3473   - "latency"
3474   - "parent"
3475   traces:
3476     boxmean: False
3477   layout:
3478     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3479     layout:
3480       "plot-latency"
3481
3482 -
3483   type: "plot"
3484   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3485   algorithm: "plot_latency_box"
3486   output-file-type: ".html"
3487   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3488   data:
3489     "plot-vpp-throughput-latency"
3490   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3491   parameters:
3492   - "latency"
3493   - "parent"
3494   traces:
3495     boxmean: False
3496   layout:
3497     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3498     layout:
3499       "plot-latency"
3500
3501 # VPP IP4_overlay
3502 -
3503   type: "plot"
3504   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3505   algorithm: "plot_latency_box"
3506   output-file-type: ".html"
3507   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3508   data:
3509     "plot-vpp-throughput-latency"
3510   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3511   parameters:
3512   - "latency"
3513   - "parent"
3514   traces:
3515     boxmean: False
3516   layout:
3517     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3518     layout:
3519       "plot-latency"
3520
3521 -
3522   type: "plot"
3523   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3524   algorithm: "plot_latency_box"
3525   output-file-type: ".html"
3526   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3527   data:
3528     "plot-vpp-throughput-latency"
3529   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3530   parameters:
3531   - "latency"
3532   - "parent"
3533   traces:
3534     boxmean: False
3535   layout:
3536     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3537     layout:
3538       "plot-latency"
3539
3540 # VPP IP6_overlay
3541 -
3542   type: "plot"
3543   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3544   algorithm: "plot_latency_box"
3545   output-file-type: ".html"
3546   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3547   data:
3548     "plot-vpp-throughput-latency"
3549   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3550   parameters:
3551   - "latency"
3552   - "parent"
3553   traces:
3554     boxmean: False
3555   layout:
3556     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3557     layout:
3558       "plot-latency"
3559
3560 -
3561   type: "plot"
3562   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3563   algorithm: "plot_latency_box"
3564   output-file-type: ".html"
3565   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3566   data:
3567     "plot-vpp-throughput-latency"
3568   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3569   parameters:
3570   - "latency"
3571   - "parent"
3572   traces:
3573     boxmean: False
3574   layout:
3575     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3576     layout:
3577       "plot-latency"
3578
3579 # VPP VM VHOST
3580 -
3581   type: "plot"
3582   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3583   algorithm: "plot_latency_box"
3584   output-file-type: ".html"
3585   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3586   data:
3587     "plot-vpp-throughput-latency"
3588   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3589   parameters:
3590   - "latency"
3591   - "parent"
3592   traces:
3593     boxmean: False
3594   layout:
3595     title: "64B-1t1c-.*vhost.*-ndrdisc"
3596     layout:
3597       "plot-latency"
3598
3599 -
3600   type: "plot"
3601   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3602   algorithm: "plot_latency_box"
3603   output-file-type: ".html"
3604   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3605   data:
3606     "plot-vpp-throughput-latency"
3607   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3608   parameters:
3609   - "latency"
3610   - "parent"
3611   traces:
3612     boxmean: False
3613   layout:
3614     title: "64B-2t2c-.*vhost.*-ndrdisc"
3615     layout:
3616       "plot-latency"
3617
3618 # VPP VM VHOST selection
3619 -
3620   type: "plot"
3621   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3622   algorithm: "plot_latency_box"
3623   output-file-type: ".html"
3624   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3625   data:
3626     "plot-vpp-throughput-latency"
3627   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3628   parameters:
3629   - "latency"
3630   - "parent"
3631   traces:
3632     boxmean: False
3633   layout:
3634     title: "64B-1t1c-.*vhost.*-ndrdisc"
3635     layout:
3636       "plot-latency"
3637
3638 -
3639   type: "plot"
3640   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3641   algorithm: "plot_latency_box"
3642   output-file-type: ".html"
3643   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3644   data:
3645     "plot-vpp-throughput-latency"
3646   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3647   parameters:
3648   - "latency"
3649   - "parent"
3650   traces:
3651     boxmean: False
3652   layout:
3653     title: "64B-2t2c-.*vhost.*-ndrdisc"
3654     layout:
3655       "plot-latency"
3656
3657 # VPP CRYPTO
3658 -
3659   type: "plot"
3660   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3661   algorithm: "plot_latency_box"
3662   output-file-type: ".html"
3663   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3664   data:
3665     "plot-vpp-throughput-latency"
3666   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3667   parameters:
3668   - "latency"
3669   - "parent"
3670   traces:
3671     boxmean: False
3672   layout:
3673     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3674     layout:
3675       "plot-latency"
3676
3677 -
3678   type: "plot"
3679   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3680   algorithm: "plot_latency_box"
3681   output-file-type: ".html"
3682   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3683   data:
3684     "plot-vpp-throughput-latency"
3685   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3686   parameters:
3687   - "latency"
3688   - "parent"
3689   traces:
3690     boxmean: False
3691   layout:
3692     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3693     layout:
3694       "plot-latency"
3695
3696 # DPDK
3697 -
3698   type: "plot"
3699   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3700   algorithm: "plot_latency_box"
3701   output-file-type: ".html"
3702   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3703   data:
3704     "plot-dpdk-throughput-latency"
3705   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3706   parameters:
3707   - "latency"
3708   - "parent"
3709   traces:
3710     boxmean: False
3711   layout:
3712     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3713     layout:
3714       "plot-latency"
3715
3716 -
3717   type: "plot"
3718   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3719   algorithm: "plot_latency_box"
3720   output-file-type: ".html"
3721   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3722   data:
3723     "plot-dpdk-throughput-latency"
3724   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3725   parameters:
3726   - "latency"
3727   - "parent"
3728   traces:
3729     boxmean: False
3730   layout:
3731     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3732     layout:
3733       "plot-latency"
3734
3735 -
3736   type: "plot"
3737   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3738   algorithm: "plot_latency_box"
3739   output-file-type: ".html"
3740   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3741   data:
3742     "plot-dpdk-throughput-latency"
3743   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3744   parameters:
3745   - "latency"
3746   - "parent"
3747   traces:
3748     boxmean: False
3749   layout:
3750     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3751     layout:
3752       "plot-latency"
3753
3754 -
3755   type: "plot"
3756   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3757   algorithm: "plot_latency_box"
3758   output-file-type: ".html"
3759   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3760   data:
3761     "plot-dpdk-throughput-latency"
3762   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3763   parameters:
3764   - "latency"
3765   - "parent"
3766   traces:
3767     boxmean: False
3768   layout:
3769     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3770     layout:
3771       "plot-latency"
3772
3773 # Ligato - Throughput
3774
3775 # Container memif
3776 -
3777   type: "plot"
3778   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3779   algorithm: "plot_performance_box"
3780   output-file-type: ".html"
3781   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3782   data:
3783     "plot-vpp-throughput-latency"
3784   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3785   parameters:
3786   - "throughput"
3787   - "parent"
3788   traces:
3789     hoverinfo: "x+y"
3790     boxpoints: "outliers"
3791     whiskerwidth: 0
3792   layout:
3793     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3794     layout:
3795       "plot-throughput"
3796
3797 -
3798   type: "plot"
3799   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3800   algorithm: "plot_performance_box"
3801   output-file-type: ".html"
3802   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3803   data:
3804     "plot-vpp-throughput-latency"
3805   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3806   parameters:
3807   - "throughput"
3808   - "parent"
3809   traces:
3810     hoverinfo: "x+y"
3811     boxpoints: "outliers"
3812     whiskerwidth: 0
3813   layout:
3814     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3815     layout:
3816       "plot-throughput"
3817
3818 -
3819   type: "plot"
3820   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3821   algorithm: "plot_performance_box"
3822   output-file-type: ".html"
3823   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3824   data:
3825     "plot-vpp-throughput-latency"
3826   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3827   parameters:
3828   - "throughput"
3829   - "parent"
3830   traces:
3831     hoverinfo: "x+y"
3832     boxpoints: "outliers"
3833     whiskerwidth: 0
3834   layout:
3835     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3836     layout:
3837       "plot-throughput"
3838
3839 -
3840   type: "plot"
3841   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3842   algorithm: "plot_performance_box"
3843   output-file-type: ".html"
3844   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3845   data:
3846     "plot-vpp-throughput-latency"
3847   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3848   parameters:
3849   - "throughput"
3850   - "parent"
3851   traces:
3852     hoverinfo: "x+y"
3853     boxpoints: "outliers"
3854     whiskerwidth: 0
3855   layout:
3856     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3857     layout:
3858       "plot-throughput"
3859
3860 # Container orchestrated
3861 -
3862   type: "plot"
3863   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3864   algorithm: "plot_performance_box"
3865   output-file-type: ".html"
3866   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3867   data:
3868     "plot-ligato-throughput-latency"
3869   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3870   parameters:
3871   - "throughput"
3872   - "parent"
3873   traces:
3874     hoverinfo: "x+y"
3875     boxpoints: "outliers"
3876     whiskerwidth: 0
3877   layout:
3878     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3879     layout:
3880       "plot-throughput"
3881
3882 -
3883   type: "plot"
3884   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3885   algorithm: "plot_performance_box"
3886   output-file-type: ".html"
3887   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3888   data:
3889     "plot-ligato-throughput-latency"
3890   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3891   parameters:
3892   - "throughput"
3893   - "parent"
3894   traces:
3895     hoverinfo: "x+y"
3896     boxpoints: "outliers"
3897     whiskerwidth: 0
3898   layout:
3899     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3900     layout:
3901       "plot-throughput"
3902
3903 -
3904   type: "plot"
3905   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3906   algorithm: "plot_performance_box"
3907   output-file-type: ".html"
3908   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3909   data:
3910     "plot-ligato-throughput-latency"
3911   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3912   parameters:
3913   - "throughput"
3914   - "parent"
3915   traces:
3916     hoverinfo: "x+y"
3917     boxpoints: "outliers"
3918     whiskerwidth: 0
3919   layout:
3920     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3921     layout:
3922       "plot-throughput"
3923
3924 -
3925   type: "plot"
3926   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3927   algorithm: "plot_performance_box"
3928   output-file-type: ".html"
3929   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3930   data:
3931     "plot-ligato-throughput-latency"
3932   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3933   parameters:
3934   - "throughput"
3935   - "parent"
3936   traces:
3937     hoverinfo: "x+y"
3938     boxpoints: "outliers"
3939     whiskerwidth: 0
3940   layout:
3941     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3942     layout:
3943       "plot-throughput"
3944
3945 # Ligato - Latency
3946
3947 # Container memif
3948 -
3949   type: "plot"
3950   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3951   algorithm: "plot_latency_box"
3952   output-file-type: ".html"
3953   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3954   data:
3955     "plot-vpp-throughput-latency"
3956   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3957   parameters:
3958   - "latency"
3959   - "parent"
3960   traces:
3961     boxmean: False
3962   layout:
3963     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3964     layout:
3965       "plot-latency"
3966
3967 -
3968   type: "plot"
3969   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3970   algorithm: "plot_latency_box"
3971   output-file-type: ".html"
3972   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3973   data:
3974     "plot-vpp-throughput-latency"
3975   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3976   parameters:
3977   - "latency"
3978   - "parent"
3979   traces:
3980     boxmean: False
3981   layout:
3982     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3983     layout:
3984       "plot-latency"
3985
3986 # Container orchestrated
3987 -
3988   type: "plot"
3989   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3990   algorithm: "plot_latency_box"
3991   output-file-type: ".html"
3992   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3993   data:
3994     "plot-ligato-throughput-latency"
3995   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3996   parameters:
3997   - "latency"
3998   - "parent"
3999   traces:
4000     boxmean: False
4001   layout:
4002     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4003     layout:
4004       "plot-latency"
4005
4006 -
4007   type: "plot"
4008   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4009   algorithm: "plot_latency_box"
4010   output-file-type: ".html"
4011   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
4012   data:
4013     "plot-ligato-throughput-latency"
4014   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
4015   parameters:
4016   - "latency"
4017   - "parent"
4018   traces:
4019     boxmean: False
4020   layout:
4021     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4022     layout:
4023       "plot-latency"