resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,MRR,VPP]: "{DIR[DTR]}/vpp_mrr_results"
  42     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  43     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  44     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  45     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  46     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  47     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  49
  50     # Detailed test configurations
  51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  53     DIR[DTC,MRR,VPP]: "{DIR[DTC]}/vpp_mrr_configuration"
  54     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  56
  57     # Detailed tests operational data
  58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  59     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  60
  61     # .css patch file to fix tables generated by Sphinx
  62     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  63     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  64
  65   urls:
  66     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  67     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  68     URL[NEXUS]: "https://docs.fd.io/csit"
  69     DIR[NEXUS]: "report/_static/archive"
  70
  71   make-dirs:
  72   # List the directories which are created while preparing the environment.
  73   # All directories MUST be defined in "paths" section.
  74   - "DIR[WORKING,DATA]"
  75   - "DIR[STATIC,VPP]"
  76   - "DIR[STATIC,DPDK]"
  77   - "DIR[STATIC,ARCH]"
  78   - "DIR[BUILD,LATEX]"
  79   - "DIR[WORKING,SRC]"
  80   - "DIR[WORKING,SRC,STATIC]"
  81
  82   remove-dirs:
  83   # List the directories which are deleted while cleaning the environment.
  84   # All directories MUST be defined in "paths" section.
  85   #- "DIR[BUILD,HTML]"
  86   - "DIR[WORKING,DATA]"
  87
  88   build-dirs:
  89   # List the directories where the results (build) is stored.
  90   # All directories MUST be defined in "paths" section.
  91   - "DIR[BUILD,HTML]"
  92   - "DIR[BUILD,LATEX]"
  93
  94 -
  95   type: "configuration"
  96   data-sets:
  97     plot-vpp-http-server-performance:
  98 # TODO: Add the data sources
  99       csit-vpp-perf-1801-all:
 100       - 157
 101       - 158
 102       - 159
 103       - 160
 104       - 161
 105       - 164
 106       - 165
 107       - 166
 108       - 168
 109       - 169
 110       - 170
 111 # TODO: Add the data sources
 112 #    vpp-meltdown-impact:
 113 #      csit-vpp-perf-1707-all:
 114 #      - 9
 115 #      - 10
 116 #      - 13
 117 #      csit-vpp-perf-1710-all:
 118 #      - 11l
 119 #      - 12
 120 #      - 13
 121 # TODO: Add the data sources
 122 #    vpp-spectre-impact:
 123 #      csit-vpp-perf-1707-all:
 124 #      - 9
 125 #      - 10
 126 #      - 13
 127 #      csit-vpp-perf-1710-all:
 128 #      - 11
 129 #      - 12
 130 #      - 13
 131     vpp-performance-changes:
 132       csit-vpp-perf-1710-all:
 133       - 11
 134       - 12
 135       - 13
 136       - 14
 137       - 15
 138       - 16
 139       - 17
 140       - 18
 141       - 19
 142       - 20
 143       csit-vpp-perf-1801-all:
 144       - 124  # sel
 145       - 127  # sel
 146       - 128  # sel
 147       - 141  # sel
 148       - 142  # sel
 149       - 143  # sel
 150       - 145  # sel
 151       - 146  # sel
 152       - 162  # sel
 153       - 163  # sel
 154       - 167  # sel
 155       - 172  # sel acl only
 156       csit-vpp-perf-1804-all:
 157       - 21  # sel
 158       - 22  # sel
 159       - 23  # sel
 160       - 24  # sel
 161       - 27  # sel
 162       - 28  # sel
 163       - 29  # sel
 164       - 30  # sel
 165       - 31  # sel
 166       - 35  # sel
 167     vpp-performance-changes-mrr:
 168       csit-vpp-perf-check-1801:
 169       - 3
 170       - 4
 171       - 5
 172       - 6
 173       - 7
 174       - 8
 175       - 9
 176       - 11
 177       - 12
 178       - 13
 179       csit-vpp-perf-check-1804:
 180       - 6   # mrr - sel
 181       - 7   # mrr - sel
 182       - 8   # mrr - sel
 183       - 9   # mrr - sel
 184       - 10  # mrr - sel
 185       - 11  # mrr - sel
 186       - 12  # mrr - sel
 187       - 13  # mrr - sel
 188       - 14  # mrr - sel
 189       - 15  # mrr - sel
 190     plot-throughput-speedup-analysis:
 191       csit-vpp-perf-1804-all:
 192       - 19  # full
 193       - 20  # full
 194       - 25  # full
 195       - 26  # full
 196       - 21  # sel
 197       - 22  # sel
 198       - 23  # sel
 199       - 24  # sel
 200       - 27  # sel
 201       - 28  # sel
 202       - 29  # sel
 203       - 30  # sel
 204       - 31  # sel
 205       - 35  # sel
 206     plot-ligato-throughput-speedup-analysis:
 207       csit-ligato-perf-1804-all:
 208       - 5   # sel
 209       - 6   # sel
 210       - 7   # sel
 211       - 8   # sel
 212       - 9   # sel
 213       - 10  # sel
 214       - 11  # sel
 215       - 12  # sel
 216 #    performance-improvements:
 217 #      csit-vpp-perf-1707-all:
 218 #      - 9
 219 #      - 10
 220 #      - 13
 221 #      - 14
 222 #      - 15
 223 #      - 16
 224 #      - 17
 225 #      - 18
 226 #      - 19
 227 #      - 21
 228 #      csit-vpp-perf-1710-all:
 229 #      - 11
 230 #      - 12
 231 #      - 13
 232 #      - 14
 233 #      - 15
 234 #      - 16
 235 #      - 17
 236 #      - 18
 237 #      - 19
 238 #      - 20
 239 #      csit-vpp-perf-1801-all:
 240 #      - 124
 241 #      - 127
 242 #      - 128
 243 #      csit-ligato-perf-1710-all:
 244 #      - 5
 245 #      - 7
 246 #      - 8
 247 #      - 9
 248 #      - 10
 249 #      - 11
 250 #      - 12
 251 #      - 13
 252 #      - 16
 253 #      - 17
 254 #      csit-ligato-perf-1801-all:
 255 #      - 16  # sel
 256 #      - 17  # sel
 257 #      - 18  # sel
 258 #      - 19  # sel
 259 #      - 20  # sel
 260 #      - 21  # sel
 261 #      - 22  # sel
 262 #      - 23  # sel
 263 #      - 24  # sel
 264     vpp-perf-results:
 265       csit-vpp-perf-1804-all:
 266       - 19  # full
 267       - 20  # full
 268       - 25  # full
 269       - 26  # full
 270     vpp-func-results:
 271       csit-vpp-functional-1804-ubuntu1604-virl:
 272       - 199
 273     vpp-func-results-centos:
 274       csit-vpp-functional-1804-centos7-virl:
 275       - 207
 276     vpp-mrr-results:
 277       csit-vpp-perf-check-1804:
 278       - 5   # mrr - full
 279     ligato-perf-results:
 280       csit-ligato-perf-1804-all:
 281       - 4  # full
 282     dpdk-perf-results:
 283       csit-dpdk-perf-1804-all:
 284       - 13
 285     hc-func-results:
 286       csit-hc2vpp-verify-func-1804-ubuntu1604:
 287       - 3
 288     nsh-func-results:
 289       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 290       - 7
 291     plot-vpp-throughput-latency:
 292       csit-vpp-perf-1804-all:
 293       - 19  # full
 294       - 20  # full
 295       - 25  # full
 296       - 26  # full
 297       - 21  # sel
 298       - 22  # sel
 299       - 23  # sel
 300       - 24  # sel
 301       - 27  # sel
 302       - 28  # sel
 303       - 29  # sel
 304       - 30  # sel
 305       - 31  # sel
 306       - 35  # sel
 307     plot-dpdk-throughput-latency:
 308       csit-dpdk-perf-1804-all:
 309       - 4
 310       - 5
 311       - 6
 312       - 7
 313       - 8
 314       - 9
 315       - 10
 316       - 11
 317       - 12
 318       - 13
 319     plot-ligato-throughput-latency:
 320       csit-ligato-perf-1804-all:
 321       - 5   # sel
 322       - 6   # sel
 323       - 7   # sel
 324       - 8   # sel
 325       - 9   # sel
 326       - 10  # sel
 327       - 11  # sel
 328       - 12  # sel
 329
 330   plot-layouts:
 331
 332     plot-cps:
 333       xaxis:
 334         autorange: True
 335         autotick: False
 336         fixedrange: False
 337         gridcolor: "rgb(238, 238, 238)"
 338         linecolor: "rgb(238, 238, 238)"
 339         linewidth: 1
 340         showgrid: True
 341         showline: True
 342         showticklabels: True
 343         tickcolor: "rgb(238, 238, 238)"
 344         tickmode: "linear"
 345         title: "Indexed Test Cases"
 346         zeroline: False
 347       yaxis:
 348         gridcolor: "rgb(238, 238, 238)'"
 349         hoverformat: ".4s"
 350         linecolor: "rgb(238, 238, 238)"
 351         linewidth: 1
 352         range: []
 353         rangemode: "tozero"
 354         showgrid: True
 355         showline: True
 356         showticklabels: True
 357         tickcolor: "rgb(238, 238, 238)"
 358         title: "Connections Per Second [cps]"
 359         zeroline: False
 360       boxmode: "group"
 361       boxgroupgap: 0.5
 362       autosize: False
 363       margin:
 364         t: 50
 365         b: 20
 366         l: 50
 367         r: 20
 368       showlegend: True
 369       legend:
 370         orientation: "h"
 371       width: 700
 372       height: 1000
 373
 374     plot-rps:
 375       xaxis:
 376         autorange: True
 377         autotick: False
 378         fixedrange: False
 379         gridcolor: "rgb(238, 238, 238)"
 380         linecolor: "rgb(238, 238, 238)"
 381         linewidth: 1
 382         showgrid: True
 383         showline: True
 384         showticklabels: True
 385         tickcolor: "rgb(238, 238, 238)"
 386         tickmode: "linear"
 387         title: "Indexed Test Cases"
 388         zeroline: False
 389       yaxis:
 390         gridcolor: "rgb(238, 238, 238)'"
 391         hoverformat: ".4s"
 392         linecolor: "rgb(238, 238, 238)"
 393         linewidth: 1
 394         range: []
 395         rangemode: "tozero"
 396         showgrid: True
 397         showline: True
 398         showticklabels: True
 399         tickcolor: "rgb(238, 238, 238)"
 400         title: "Requests Per Second [rps]"
 401         zeroline: False
 402       boxmode: "group"
 403       boxgroupgap: 0.5
 404       autosize: False
 405       margin:
 406         t: 50
 407         b: 20
 408         l: 50
 409         r: 20
 410       showlegend: True
 411       legend:
 412         orientation: "h"
 413       width: 700
 414       height: 1000
 415
 416     plot-throughput:
 417       xaxis:
 418         autorange: True
 419         autotick: False
 420         fixedrange: False
 421         gridcolor: "rgb(238, 238, 238)"
 422         linecolor: "rgb(238, 238, 238)"
 423         linewidth: 1
 424         showgrid: True
 425         showline: True
 426         showticklabels: True
 427         tickcolor: "rgb(238, 238, 238)"
 428         tickmode: "linear"
 429         title: "Indexed Test Cases"
 430         zeroline: False
 431       yaxis:
 432         gridcolor: "rgb(238, 238, 238)'"
 433         hoverformat: ".4s"
 434         linecolor: "rgb(238, 238, 238)"
 435         linewidth: 1
 436         range: []
 437         showgrid: True
 438         showline: True
 439         showticklabels: True
 440         tickcolor: "rgb(238, 238, 238)"
 441         title: "Packets Per Second [pps]"
 442         zeroline: False
 443       boxmode: "group"
 444       boxgroupgap: 0.5
 445       autosize: False
 446       margin:
 447         t: 50
 448         b: 20
 449         l: 50
 450         r: 20
 451       showlegend: True
 452       legend:
 453         orientation: "h"
 454       width: 700
 455       height: 1000
 456
 457     plot-latency:
 458       xaxis:
 459         autorange: True
 460         autotick: False
 461         fixedrange: False
 462         gridcolor: "rgb(238, 238, 238)"
 463         linecolor: "rgb(238, 238, 238)"
 464         linewidth: 1
 465         showgrid: True
 466         showline: True
 467         showticklabels: True
 468         tickcolor: "rgb(238, 238, 238)"
 469         tickmode: "linear"
 470         title: "Indexed Test Cases"
 471         zeroline: False
 472       yaxis:
 473         gridcolor: "rgb(238, 238, 238)'"
 474         hoverformat: ""
 475         linecolor: "rgb(238, 238, 238)"
 476         linewidth: 1
 477         range: []
 478         showgrid: True
 479         showline: True
 480         showticklabels: True
 481         tickcolor: "rgb(238, 238, 238)"
 482         title: "Latency min/avg/max [uSec]"
 483         zeroline: False
 484       boxmode: "group"
 485       boxgroupgap: 0.5
 486       autosize: False
 487       margin:
 488         t: 50
 489         b: 20
 490         l: 50
 491         r: 20
 492       showlegend: True
 493       legend:
 494         orientation: "h"
 495       width: 700
 496       height: 1000
 497
 498     plot-throughput-speedup-analysis:
 499       xaxis:
 500         autorange: True
 501         autotick: False
 502         fixedrange: False
 503         gridcolor: "rgb(238, 238, 238)"
 504         linecolor: "rgb(238, 238, 238)"
 505         linewidth: 1
 506         showgrid: True
 507         showline: True
 508         showticklabels: True
 509         tickcolor: "rgb(238, 238, 238)"
 510         tickmode: "linear"
 511         tickangle: 270
 512         zeroline: False
 513       yaxis:
 514         title: "Throughput speedup factor"
 515         gridcolor: "rgb(238, 238, 238)"
 516         hoverformat: ".4s"
 517         linecolor: "rgb(238, 238, 238)"
 518         linewidth: 1
 519         range: []
 520         showgrid: True
 521         showline: True
 522         showticklabels: True
 523         tickcolor: "rgb(238, 238, 238)"
 524         zeroline: False
 525       legend:
 526         orientation: "h"
 527         xanchor: "center"
 528         yanchor: "top"
 529         x: 0.5
 530         y: 1
 531         bgcolor: "rgba(255, 255, 255, 0)"
 532         bordercolor: "rgba(255, 255, 255, 0)"
 533       barmode: "group"
 534       bargap: 0.15
 535       bargroupgap: 0.1
 536       autosize: False
 537       margin:
 538           't': 50
 539           'b': 200
 540           'l': 50
 541           'r': 20
 542       showlegend: True
 543       width: 700
 544       height: 1000
 545
 546 -
 547   type: "debug"
 548   general:
 549     input-format: "xml"  # zip or xml
 550     extract: "robot-plugin/output.xml"  # Only for zip
 551   builds:
 552     # The files must be in the directory DIR[WORKING,DATA]
 553     csit-vpp-perf-1801-all:
 554     -
 555       build: 1
 556       file: "{DIR[WORKING,DATA]}/output.xml"
 557     -
 558       build: 2
 559       file: "{DIR[WORKING,DATA]}/output.xml"
 560     -
 561       build: 3
 562       file: "{DIR[WORKING,DATA]}/output.xml"
 563     -
 564       build: 4
 565       file: "{DIR[WORKING,DATA]}/output.xml"
 566
 567 -
 568   type: "static"
 569   src-path: "{DIR[RST]}"
 570   dst-path: "{DIR[WORKING,SRC]}"
 571
 572 -
 573   type: "input"  # Ignored in debug mode
 574   general:
 575     file-name: "robot-plugin.zip"
 576     file-format: ".zip"
 577     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 578     extract: "robot-plugin/output.xml"
 579   builds:
 580 #    csit-vpp-perf-1707-all:
 581 #    - 9
 582 #    - 10
 583 #    - 13
 584 #    - 14
 585 #    - 15
 586 #    - 16
 587 #    - 17
 588 #    - 18
 589 #    - 19
 590 #    - 21
 591     csit-vpp-perf-1710-all:
 592     - 11
 593     - 12
 594     - 13
 595     - 14
 596     - 15
 597     - 16
 598     - 17
 599     - 18
 600     - 19
 601     - 20
 602     csit-vpp-perf-1801-all:
 603 #    - 122  # full
 604 #    - 126  # full
 605 #    - 129  # full
 606 #    - 140  # full
 607     - 124  # sel
 608     - 127  # sel
 609     - 128  # sel
 610     - 141  # sel
 611     - 142  # sel
 612     - 143  # sel
 613     - 145  # sel
 614     - 146  # sel
 615     - 157  # wrk
 616     - 158  # wrk
 617     - 159  # wrk
 618     - 160  # wrk
 619     - 161  # wrk
 620     - 162  # sel
 621     - 163  # sel
 622     - 164  # wrk
 623     - 165  # wrk
 624     - 166  # wrk
 625     - 167  # sel
 626     - 168  # wrk
 627     - 169  # wrk
 628     - 170  # wrk
 629     - 172  # sel acl only
 630     csit-vpp-perf-1804-all:
 631     - 19  # full
 632     - 20  # full
 633     - 25  # full
 634     - 26  # full
 635     - 21  # sel
 636     - 22  # sel
 637     - 23  # sel
 638     - 24  # sel
 639     - 27  # sel
 640     - 28  # sel
 641     - 29  # sel
 642     - 30  # sel
 643     - 31  # sel
 644     - 35  # sel
 645     csit-vpp-perf-check-1801:
 646     - 3   # mrr
 647     - 4   # mrr
 648     - 5   # mrr
 649     - 6   # mrr
 650     - 7   # mrr
 651     - 8   # mrr
 652     - 9   # mrr
 653     - 11  # mrr
 654     - 12  # mrr
 655     - 13  # mrr
 656     csit-vpp-perf-check-1804:
 657     - 5   # mrr - full
 658     - 6   # mrr - sel
 659     - 7   # mrr - sel
 660     - 8   # mrr - sel
 661     - 9   # mrr - sel
 662     - 10  # mrr - sel
 663     - 11  # mrr - sel
 664     - 12  # mrr - sel
 665     - 13  # mrr - sel
 666     - 14  # mrr - sel
 667     - 15  # mrr - sel
 668 #    csit-ligato-perf-1710-all:
 669 #    - 5
 670 #    - 7
 671 #    - 8
 672 #    - 9
 673 #    - 10
 674 #    - 11
 675 #    - 12
 676 #    - 13
 677 #    - 16
 678 #    - 17
 679 #    csit-ligato-perf-1801-all:
 680 #    - 16  # sel
 681 #    - 17  # sel
 682 #    - 18  # sel
 683 #    - 19  # sel
 684 #    - 20  # sel
 685 #    - 21  # sel
 686 #    - 22  # sel
 687 #    - 23  # sel
 688 #    - 24  # sel
 689 #    - 25  # full
 690     csit-ligato-perf-1804-all:
 691     - 4   # full
 692     - 5   # sel
 693     - 6   # sel
 694     - 7   # sel
 695     - 8   # sel
 696     - 9   # sel
 697     - 10  # sel
 698     - 11  # sel
 699     - 12  # sel
 700     csit-dpdk-perf-1804-all:
 701     - 4
 702     - 5
 703     - 6
 704     - 7
 705     - 8
 706     - 9
 707     - 10
 708     - 11
 709     - 12
 710     - 13
 711     csit-vpp-functional-1804-ubuntu1604-virl:
 712     - 199
 713     csit-vpp-functional-1804-centos7-virl:
 714     - 207
 715     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 716     - 7
 717     csit-hc2vpp-verify-func-1804-ubuntu1604:
 718     - 3
 719
 720 -
 721   type: "output"
 722   output: "report"
 723   format:
 724     html:
 725     - full
 726     pdf:
 727     - minimal
 728
 729 ################################################################################
 730 ###                               T A B L E S                                ###
 731 ################################################################################
 732
 733 #-
 734 #  type: "table"
 735 #  title: "Performance Impact of Meltdown Patches"
 736 #  algorithm: "table_performance_comparison"
 737 #  output-file-ext: ".csv"
 738 ## TODO: specify dir
 739 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 740 #  reference:
 741 #    title: "No Meltdown"
 742 ## TODO: specify data sources
 743 #    data:
 744 #      csit-vpp-perf-1707-all:
 745 #      - 9
 746 #      - 10
 747 #      - 13
 748 #  compare:
 749 #    title: "Meltdown Patches Applied"
 750 ## TODO: specify data sources
 751 #    data:
 752 #      csit-vpp-perf-1710-all:
 753 #      - 11
 754 #      - 12
 755 #      - 13
 756 #  data:
 757 #    "vpp-meltdown-impact"
 758 #  filter: "all"
 759 #  parameters:
 760 #  - "name"
 761 #  - "parent"
 762 #  - "throughput"
 763 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 764 #  # to present all tests.
 765 #  nr-of-tests-shown: 20
 766 #
 767 #-
 768 #  type: "table"
 769 #  title: "Performance Impact of Spectre Patches"
 770 #  algorithm: "table_performance_comparison"
 771 #  output-file-ext: ".csv"
 772 ## TODO: specify dir
 773 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 774 #  reference:
 775 #    title: "No Spectre"
 776 ## TODO: specify data sources
 777 #    data:
 778 #      csit-vpp-perf-1707-all:
 779 #      - 9
 780 #      - 10
 781 #      - 13
 782 #  compare:
 783 #    title: "Spectre Patches Applied"
 784 ## TODO: specify data sources
 785 #    data:
 786 #      csit-vpp-perf-1710-all:
 787 #      - 11
 788 #      - 12
 789 #      - 13
 790 #  data:
 791 #    "vpp-spectre-impact"
 792 #  filter: "all"
 793 #  parameters:
 794 #  - "name"
 795 #  - "parent"
 796 #  - "throughput"
 797 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 798 #  # to present all tests.
 799 #  nr-of-tests-shown: 20
 800
 801 -
 802   type: "table"
 803   title: "VPP Performance Changes"
 804   algorithm: "table_performance_comparison"
 805   output-file-ext: ".csv"
 806   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 807   history:
 808     -
 809       title: "rls1710"
 810       data:
 811         csit-vpp-perf-1710-all:
 812         - 11
 813         - 12
 814         - 13
 815         - 14
 816         - 15
 817         - 16
 818         - 17
 819         - 18
 820         - 19
 821         - 20
 822   reference:
 823     title: "rls1801"
 824     data:
 825       csit-vpp-perf-1801-all:
 826       - 124  # sel
 827       - 127  # sel
 828       - 128  # sel
 829       - 141  # sel
 830       - 142  # sel
 831       - 143  # sel
 832       - 145  # sel
 833       - 146  # sel
 834       - 162  # sel
 835       - 163  # sel
 836       - 167  # sel
 837       - 172  # sel acl only
 838   compare:
 839     title: "rls1804"
 840     data:
 841       csit-vpp-perf-1804-all:
 842       - 21  # sel
 843       - 22  # sel
 844       - 23  # sel
 845       - 24  # sel
 846       - 27  # sel
 847       - 28  # sel
 848       - 29  # sel
 849       - 30  # sel
 850       - 31  # sel
 851       - 35  # sel
 852   data: "vpp-performance-changes"
 853   filter: "all"
 854   parameters:
 855   - "name"
 856   - "parent"
 857   - "throughput"
 858   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 859   # to present all tests.
 860   nr-of-tests-shown: 20
 861   outlier-const: 1.5
 862
 863 -
 864   type: "table"
 865   title: "VPP Performance Changes - MRR"
 866   algorithm: "table_performance_comparison_mrr"
 867   output-file-ext: ".csv"
 868   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 869   reference:
 870     title: "Release 1801"
 871     data:
 872       csit-vpp-perf-check-1801:
 873       - 3
 874       - 4
 875       - 5
 876       - 6
 877       - 7
 878       - 8
 879       - 9
 880       - 11
 881       - 12
 882       - 13
 883   compare:
 884     title: "Release 1804"
 885     data:
 886       csit-vpp-perf-check-1804:
 887       - 5   # mrr - full
 888       - 6   # mrr - sel
 889       - 7   # mrr - sel
 890       - 8   # mrr - sel
 891       - 9   # mrr - sel
 892       - 10  # mrr - sel
 893       - 11  # mrr - sel
 894       - 12  # mrr - sel
 895       - 13  # mrr - sel
 896       - 14  # mrr - sel
 897       - 15  # mrr - sel
 898   data: "vpp-performance-changes-mrr"
 899   filter: "all"
 900   parameters:
 901   - "name"
 902   - "parent"
 903   - "result"
 904   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 905   # to present all tests.
 906   nr-of-tests-shown: 20
 907   outlier-const: 1.5
 908
 909 #-
 910 #  type: "table"
 911 #  title: "Performance improvements"
 912 #  algorithm: "table_performance_improvements"
 913 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 914 #  output-file-ext: ".csv"
 915 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 916 #  columns:
 917 #  -
 918 #    title: "Test Name"
 919 #    data: "template 1"
 920 #  -
 921 #    title: "16.09 mean [Mpps]"
 922 #    data: "template 2"
 923 #  -
 924 #    title: "17.01 mean [Mpps]"
 925 #    data: "template 3"
 926 #  -
 927 #    title: "17.04 mean [Mpps]"
 928 #    data: "template 4"
 929 #  -
 930 #    title: "17.07 mean [Mpps]"
 931 #    data: "data csit-vpp-perf-1707-all mean"
 932 #  -
 933 #    title: "17.10 mean [Mpps]"
 934 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 935 #  -
 936 #    title: "18.01 mean [Mpps]"
 937 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 938 #  -
 939 #    title: "18.01 stdev [Mpps]"
 940 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 941 #  -
 942 #    title: "17.10 to 18.01 change [%]"
 943 #    data: "operation relative_change 5 6"
 944 #  rows: "generated"
 945 #  data:
 946 #    "performance-improvements"
 947 #  filter: "template"
 948 #  parameters:
 949 #  - "throughput"
 950
 951 -
 952   type: "table"
 953   title: "Detailed Test Results - VPP Performance Results"
 954   algorithm: "table_merged_details"
 955   output-file-ext: ".csv"
 956   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 957   columns:
 958   -
 959     title: "Name"
 960     data: "data name"
 961   -
 962     title: "Documentation"
 963     data: "data doc"
 964   -
 965     title: "Status"
 966     data: "data msg"
 967   rows: "generated"
 968   data:
 969     "vpp-perf-results"
 970   filter: "not 'NDRCHK' and not 'PDRCHK'"
 971   parameters:
 972   - "name"
 973   - "parent"
 974   - "doc"
 975   - "msg"
 976
 977 -
 978   type: "table"
 979   title: "Test configuration - VPP Performance Test Configs"
 980   algorithm: "table_merged_details"
 981   output-file-ext: ".csv"
 982   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 983   columns:
 984   -
 985     title: "Name"
 986     data: "data name"
 987   -
 988     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 989     data: "data vat-history"
 990   rows: "generated"
 991   data:
 992     "vpp-perf-results"
 993   filter: "not 'NDRCHK' and not 'PDRCHK'"
 994   parameters:
 995   - "parent"
 996   - "name"
 997   - "vat-history"
 998
 999 -
1000   type: "table"
1001   title: "Test Operational Data - VPP Performance Operational Data"
1002   algorithm: "table_merged_details"
1003   output-file-ext: ".csv"
1004   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
1005   columns:
1006   -
1007     title: "Name"
1008     data: "data name"
1009   -
1010     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1011     data: "data show-run"
1012   rows: "generated"
1013   data:
1014     "vpp-perf-results"
1015   filter: "not 'NDRCHK' and not 'PDRCHK'"
1016   parameters:
1017   - "parent"
1018   - "name"
1019   - "show-run"
1020
1021 -
1022   type: "table"
1023   title: "Detailed Test Results - VPP MRR Results"
1024   algorithm: "table_details"
1025   output-file-ext: ".csv"
1026   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1027   columns:
1028   -
1029     title: "Name"
1030     data: "data name"
1031   -
1032     title: "Documentation"
1033     data: "data doc"
1034   -
1035     title: "Status"
1036     data: "data msg"
1037   rows: "generated"
1038   data:
1039     "vpp-mrr-results"
1040   filter: "'MRR'"
1041   parameters:
1042   - "name"
1043   - "parent"
1044   - "doc"
1045   - "msg"
1046
1047 -
1048   type: "table"
1049   title: "Test configuration - VPP MRR Test Configs"
1050   algorithm: "table_details"
1051   output-file-ext: ".csv"
1052   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_test_configuration"
1053   columns:
1054   -
1055     title: "Name"
1056     data: "data name"
1057   -
1058     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1059     data: "data vat-history"
1060   rows: "generated"
1061   data:
1062     "vpp-mrr-results"
1063   filter: "'MRR'"
1064   parameters:
1065   - "parent"
1066   - "name"
1067   - "vat-history"
1068
1069 -
1070   type: "table"
1071   title: "Detailed Test Results - VPP Functional Results"
1072   algorithm: "table_details"
1073   output-file-ext: ".csv"
1074   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1075   columns:
1076   -
1077     title: "Name"
1078     data: "data name"
1079   -
1080     title: "Documentation"
1081     data: "data doc"
1082   -
1083     title: "Status"
1084     data: "data status"
1085   rows: "generated"
1086   data:
1087     "vpp-func-results"
1088   filter: "all"
1089   parameters:
1090   - "name"
1091   - "parent"
1092   - "doc"
1093   - "status"
1094
1095 -
1096   type: "table"
1097   title: "Detailed Test Results - VPP Functional Results - CentOS"
1098   algorithm: "table_details"
1099   output-file-ext: ".csv"
1100   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1101   columns:
1102   -
1103     title: "Name"
1104     data: "data name"
1105   -
1106     title: "Documentation"
1107     data: "data doc"
1108   -
1109     title: "Status"
1110     data: "data status"
1111   rows: "generated"
1112   data:
1113     "vpp-func-results-centos"
1114   filter: "all"
1115   parameters:
1116   - "name"
1117   - "parent"
1118   - "doc"
1119   - "status"
1120
1121 -
1122   type: "table"
1123   title: "Test configuration - VPP Functional Test Configs"
1124   algorithm: "table_details"
1125   output-file-ext: ".csv"
1126   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1127   columns:
1128   -
1129     title: "Name"
1130     data: "data name"
1131   -
1132     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1133     data: "data vat-history"
1134   rows: "generated"
1135   data:
1136     "vpp-func-results"
1137   filter: "all"
1138   parameters:
1139   - "parent"
1140   - "name"
1141   - "vat-history"
1142
1143 -
1144   type: "table"
1145   title: "Test configuration - VPP Functional Test Configs - CentOS"
1146   algorithm: "table_details"
1147   output-file-ext: ".csv"
1148   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1149   columns:
1150   -
1151     title: "Name"
1152     data: "data name"
1153   -
1154     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1155     data: "data vat-history"
1156   rows: "generated"
1157   data:
1158     "vpp-func-results-centos"
1159   filter: "all"
1160   parameters:
1161   - "parent"
1162   - "name"
1163   - "vat-history"
1164
1165 -
1166   type: "table"
1167   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1168   algorithm: "table_details"
1169   output-file-ext: ".csv"
1170   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1171   columns:
1172   -
1173     title: "Name"
1174     data: "data name"
1175   -
1176     title: "Documentation"
1177     data: "data doc"
1178   -
1179     title: "Status"
1180     data: "data msg"
1181   rows: "generated"
1182   data:
1183     "ligato-perf-results"
1184   filter: "all"
1185   parameters:
1186   - "name"
1187   - "parent"
1188   - "doc"
1189   - "msg"
1190
1191 -
1192   type: "table"
1193   title: "Detailed Test Results - DPDK Performance Results"
1194   algorithm: "table_details"
1195   output-file-ext: ".csv"
1196   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1197   columns:
1198   -
1199     title: "Name"
1200     data: "data name"
1201   -
1202     title: "Documentation"
1203     data: "data doc"
1204   -
1205     title: "Status"
1206     data: "data msg"
1207   rows: "generated"
1208   data:
1209     "dpdk-perf-results"
1210   filter: "all"
1211   parameters:
1212   - "name"
1213   - "parent"
1214   - "doc"
1215   - "msg"
1216
1217 -
1218   type: "table"
1219   title: "Detailed Test Results - Honeycomb Functional Results"
1220   algorithm: "table_details"
1221   output-file-ext: ".csv"
1222   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1223   columns:
1224   -
1225     title: "Name"
1226     data: "data name"
1227   -
1228     title: "Documentation"
1229     data: "data doc"
1230   -
1231     title: "Status"
1232     data: "data status"
1233   rows: "generated"
1234   data:
1235     "hc-func-results"
1236   filter: "all"
1237   parameters:
1238   - "name"
1239   - "parent"
1240   - "doc"
1241   - "status"
1242
1243 -
1244   type: "table"
1245   title: "Detailed Test Results - NSH SFC Functional Results"
1246   algorithm: "table_details"
1247   output-file-ext: ".csv"
1248   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1249   columns:
1250   -
1251     title: "Name"
1252     data: "data name"
1253   -
1254     title: "Documentation"
1255     data: "data doc"
1256   -
1257     title: "Status"
1258     data: "data status"
1259   rows: "generated"
1260   data:
1261     "nsh-func-results"
1262   filter: "all"
1263   parameters:
1264   - "name"
1265   - "parent"
1266   - "doc"
1267   - "status"
1268
1269 ################################################################################
1270 ###                                F I L E S                                 ###
1271 ################################################################################
1272
1273 -
1274   type: "file"
1275   title: "VPP Performance Results"
1276   algorithm: "file_merged_test_results"
1277   output-file-ext: ".rst"
1278   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1279   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1280   dir-tables: "{DIR[DTR,PERF,VPP]}"
1281   data:
1282     "vpp-perf-results"
1283   filter: "not 'NDRCHK' and not 'PDRCHK'"
1284   parameters:
1285   - "name"
1286   - "doc"
1287   - "level"
1288   - "parent"
1289   data-start-level: 3  # 0, 1, 2, ...
1290   chapters-start-level: 2  # 0, 1, 2, ...
1291
1292 -
1293   type: "file"
1294   title: "VPP Performance Configuration"
1295   algorithm: "file_merged_test_results"
1296   output-file-ext: ".rst"
1297   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1298   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1299   dir-tables: "{DIR[DTC,PERF,VPP]}"
1300   data:
1301     "vpp-perf-results"
1302   filter: "not 'NDRCHK' and not 'PDRCHK'"
1303   parameters:
1304   - "name"
1305   - "doc"
1306   - "level"
1307   - "parent"
1308   data-start-level: 3  # 0, 1, 2, ...
1309   chapters-start-level: 2  # 0, 1, 2, ...
1310
1311 -
1312   type: "file"
1313   title: "VPP Performance Operational Data"
1314   algorithm: "file_merged_test_results"
1315   output-file-ext: ".rst"
1316   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1317   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1318   dir-tables: "{DIR[DTO,PERF,VPP]}"
1319   data:
1320     "vpp-perf-results"
1321   filter: "not 'NDRCHK' and not 'PDRCHK'"
1322   parameters:
1323   - "name"
1324   - "doc"
1325   - "level"
1326   - "parent"
1327   data-start-level: 3  # 0, 1, 2, ...
1328   chapters-start-level: 2  # 0, 1, 2, ...
1329
1330 -
1331   type: "file"
1332   title: "VPP MRR Results"
1333   algorithm: "file_test_results"
1334   output-file-ext: ".rst"
1335   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1336   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1337   dir-tables: "{DIR[DTR,MRR,VPP]}"
1338   data:
1339     "vpp-mrr-results"
1340   filter: "'MRR'"
1341   parameters:
1342   - "name"
1343   - "doc"
1344   - "level"
1345   - "parent"
1346   data-start-level: 2  # 0, 1, 2, ...
1347   chapters-start-level: 2  # 0, 1, 2, ...
1348
1349 -
1350   type: "file"
1351   title: "VPP MRR Configuration"
1352   algorithm: "file_test_results"
1353   output-file-ext: ".rst"
1354   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_configuration"
1355   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1356   dir-tables: "{DIR[DTC,MRR,VPP]}"
1357   data:
1358     "vpp-mrr-results"
1359   filter: "'MRR'"
1360   parameters:
1361   - "name"
1362   - "doc"
1363   - "level"
1364   - "parent"
1365   data-start-level: 2  # 0, 1, 2, ...
1366   chapters-start-level: 2  # 0, 1, 2, ...
1367
1368 -
1369   type: "file"
1370   title: "VPP Functional Results"
1371   algorithm: "file_test_results"
1372   output-file-ext: ".rst"
1373   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1374   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1375   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1376   data:
1377     "vpp-func-results"
1378   filter: "all"
1379   parameters:
1380   - "name"
1381   - "doc"
1382   - "level"
1383   data-start-level: 3  # 0, 1, 2, ...
1384   chapters-start-level: 2  # 0, 1, 2, ...
1385
1386 -
1387   type: "file"
1388   title: "VPP Functional Results - CentOS"
1389   algorithm: "file_test_results"
1390   output-file-ext: ".rst"
1391   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1392   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1393   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1394   data:
1395     "vpp-func-results-centos"
1396   filter: "all"
1397   parameters:
1398   - "name"
1399   - "doc"
1400   - "level"
1401   data-start-level: 3  # 0, 1, 2, ...
1402   chapters-start-level: 2  # 0, 1, 2, ...
1403
1404 -
1405   type: "file"
1406   title: "VPP Functional Configuration"
1407   algorithm: "file_test_results"
1408   output-file-ext: ".rst"
1409   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1410   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1411   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1412   data:
1413     "vpp-func-results"
1414   filter: "all"
1415   parameters:
1416   - "name"
1417   - "doc"
1418   - "level"
1419   data-start-level: 3  # 0, 1, 2, ...
1420   chapters-start-level: 2  # 0, 1, 2, ...
1421
1422 -
1423   type: "file"
1424   title: "VPP Functional Configuration - CentOS"
1425   algorithm: "file_test_results"
1426   output-file-ext: ".rst"
1427   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1428   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1429   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1430   data:
1431     "vpp-func-results-centos"
1432   filter: "all"
1433   parameters:
1434   - "name"
1435   - "doc"
1436   - "level"
1437   data-start-level: 3  # 0, 1, 2, ...
1438   chapters-start-level: 2  # 0, 1, 2, ...
1439
1440 -
1441   type: "file"
1442   title: "Container Orchestrated Performance Results"
1443   algorithm: "file_test_results"
1444   output-file-ext: ".rst"
1445   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1446   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1447   dir-tables: "{DIR[DTR,PERF,COT]}"
1448   data:
1449     "ligato-perf-results"
1450   filter: "all"
1451   parameters:
1452   - "name"
1453   - "doc"
1454   - "level"
1455   data-start-level: 2  # 0, 1, 2, ...
1456   chapters-start-level: 2  # 0, 1, 2, ...
1457
1458 -
1459   type: "file"
1460   title: "DPDK Performance Results"
1461   algorithm: "file_test_results"
1462   output-file-ext: ".rst"
1463   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1464   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1465   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1466   data:
1467     "dpdk-perf-results"
1468   filter: "all"
1469   parameters:
1470   - "name"
1471   - "doc"
1472   - "level"
1473   chapters:
1474   - "suites"
1475   data-start-level: 2  # 0, 1, 2, ...
1476   chapters-start-level: 2  # 0, 1, 2, ...
1477
1478 -
1479   type: "file"
1480   title: "Honeycomb Functional Results"
1481   algorithm: "file_test_results"
1482   output-file-ext: ".rst"
1483   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1484   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1485   dir-tables: "{DIR[DTR,FUNC,HC]}"
1486   data:
1487     "hc-func-results"
1488   filter: "all"
1489   parameters:
1490   - "name"
1491   - "doc"
1492   - "level"
1493   chapters:
1494   - "suites"
1495   data-start-level: 3  # 0, 1, 2, ...
1496   chapters-start-level: 2  # 0, 1, 2, ...
1497
1498 -
1499   type: "file"
1500   title: "NSH SFC Functional Results"
1501   algorithm: "file_test_results"
1502   output-file-ext: ".rst"
1503   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1504   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1505   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1506   data:
1507     "nsh-func-results"
1508   filter: "all"
1509   parameters:
1510   - "name"
1511   - "doc"
1512   - "level"
1513   chapters:
1514   - "suites"
1515   data-start-level: 2  # 0, 1, 2, ...
1516   chapters-start-level: 2  # 0, 1, 2, ...
1517
1518 ################################################################################
1519 ###                                P L O T S                                 ###
1520 ################################################################################
1521
1522 # Plots VPP HTTP Server Performance
1523 -
1524   type: "plot"
1525   title: "VPP HTTP Server Performance"
1526   algorithm: "plot_http_server_performance_box"
1527   output-file-type: ".html"
1528   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1529   data:
1530     "plot-vpp-http-server-performance"
1531   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1532   # each tag is enclosed with ' (apostrophe).
1533   filter: "'HTTP' and 'TCP_CPS'"
1534   parameters:
1535   - "result"
1536   - "name"
1537   traces:
1538     hoverinfo: "x+y"
1539     boxpoints: "outliers"
1540     whiskerwidth: 0
1541   layout:
1542     title: "VPP HTTP Server Performance"
1543     layout:
1544       "plot-cps"
1545
1546 -
1547   type: "plot"
1548   title: "VPP HTTP Server Performance"
1549   algorithm: "plot_http_server_performance_box"
1550   output-file-type: ".html"
1551   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1552   data:
1553     "plot-vpp-http-server-performance"
1554   filter: "'HTTP' and 'TCP_RPS'"
1555   parameters:
1556   - "result"
1557   - "name"
1558   traces:
1559     hoverinfo: "x+y"
1560     boxpoints: "outliers"
1561     whiskerwidth: 0
1562   layout:
1563     title: "VPP HTTP Server Performance"
1564     layout:
1565       "plot-rps"
1566
1567 # Plot Throughput Speedup Analysis
1568
1569 # L2 - 10ge2p1x520 - NDR
1570 -
1571   type: "plot"
1572   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1573   algorithm: "plot_throughput_speedup_analysis"
1574   output-file-type: ".html"
1575   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1576   data:
1577     "plot-throughput-speedup-analysis"
1578   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1579   parameters:
1580   - "throughput"
1581   - "parent"
1582   - "tags"
1583   layout:
1584     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1585     layout:
1586       "plot-throughput-speedup-analysis"
1587
1588 # L2 - 40ge2p1xl710 - NDR
1589 -
1590   type: "plot"
1591   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1592   algorithm: "plot_throughput_speedup_analysis"
1593   output-file-type: ".html"
1594   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1595   data:
1596     "plot-throughput-speedup-analysis"
1597   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1598   parameters:
1599   - "throughput"
1600   - "parent"
1601   - "tags"
1602   layout:
1603     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1604     layout:
1605       "plot-throughput-speedup-analysis"
1606
1607 # L2 - 10ge2p1x520 - PDR
1608 -
1609   type: "plot"
1610   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1611   algorithm: "plot_throughput_speedup_analysis"
1612   output-file-type: ".html"
1613   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1614   data:
1615     "plot-throughput-speedup-analysis"
1616   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1617   parameters:
1618   - "throughput"
1619   - "parent"
1620   - "tags"
1621   layout:
1622     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1623     layout:
1624       "plot-throughput-speedup-analysis"
1625
1626 # IPv4 - 10ge2p1x520 - NDR
1627 -
1628   type: "plot"
1629   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1630   algorithm: "plot_throughput_speedup_analysis"
1631   output-file-type: ".html"
1632   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1633   data:
1634     "plot-throughput-speedup-analysis"
1635   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1636   parameters:
1637   - "throughput"
1638   - "parent"
1639   - "tags"
1640   layout:
1641     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1642     layout:
1643       "plot-throughput-speedup-analysis"
1644
1645 # IPv4 - 40ge2p1xl710 - NDR
1646 -
1647   type: "plot"
1648   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1649   algorithm: "plot_throughput_speedup_analysis"
1650   output-file-type: ".html"
1651   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1652   data:
1653     "plot-throughput-speedup-analysis"
1654   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1655   parameters:
1656   - "throughput"
1657   - "parent"
1658   - "tags"
1659   layout:
1660     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1661     layout:
1662       "plot-throughput-speedup-analysis"
1663
1664 # IPv4 - 10ge2p1x520 - PDR
1665 -
1666   type: "plot"
1667   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1668   algorithm: "plot_throughput_speedup_analysis"
1669   output-file-type: ".html"
1670   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1671   data:
1672     "plot-throughput-speedup-analysis"
1673   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1674   parameters:
1675   - "throughput"
1676   - "parent"
1677   - "tags"
1678   layout:
1679     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1680     layout:
1681       "plot-throughput-speedup-analysis"
1682
1683 # IPv6 - 10ge2p1x520 - NDR
1684 -
1685   type: "plot"
1686   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1687   algorithm: "plot_throughput_speedup_analysis"
1688   output-file-type: ".html"
1689   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1690   data:
1691     "plot-throughput-speedup-analysis"
1692   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1693   parameters:
1694   - "throughput"
1695   - "parent"
1696   - "tags"
1697   layout:
1698     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1699     layout:
1700       "plot-throughput-speedup-analysis"
1701
1702 # IPv6 - 40ge2p1xl710 - NDR
1703 -
1704   type: "plot"
1705   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1706   algorithm: "plot_throughput_speedup_analysis"
1707   output-file-type: ".html"
1708   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1709   data:
1710     "plot-throughput-speedup-analysis"
1711   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1712   parameters:
1713   - "throughput"
1714   - "parent"
1715   - "tags"
1716   layout:
1717     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1718     layout:
1719       "plot-throughput-speedup-analysis"
1720
1721 # IPv6 - 10ge2p1x520 - PDR
1722 -
1723   type: "plot"
1724   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1725   algorithm: "plot_throughput_speedup_analysis"
1726   output-file-type: ".html"
1727   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1728   data:
1729     "plot-throughput-speedup-analysis"
1730   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1731   parameters:
1732   - "throughput"
1733   - "parent"
1734   - "tags"
1735   layout:
1736     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1737     layout:
1738       "plot-throughput-speedup-analysis"
1739
1740 # IP4_overlay - NDR
1741 -
1742   type: "plot"
1743   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1744   algorithm: "plot_throughput_speedup_analysis"
1745   output-file-type: ".html"
1746   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-ndrdisc"
1747   data:
1748     "plot-throughput-speedup-analysis"
1749   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1750   parameters:
1751   - "throughput"
1752   - "parent"
1753   - "tags"
1754   layout:
1755     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1756     layout:
1757       "plot-throughput-speedup-analysis"
1758
1759 # IP4_overlay - PDR
1760 -
1761   type: "plot"
1762   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1763   algorithm: "plot_throughput_speedup_analysis"
1764   output-file-type: ".html"
1765   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-pdrdisc"
1766   data:
1767     "plot-throughput-speedup-analysis"
1768   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1769   parameters:
1770   - "throughput"
1771   - "parent"
1772   - "tags"
1773   layout:
1774     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1775     layout:
1776       "plot-throughput-speedup-analysis"
1777
1778 # IP6_overlay - NDR
1779 -
1780   type: "plot"
1781   title: "TSA: 78B-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1782   algorithm: "plot_throughput_speedup_analysis"
1783   output-file-type: ".html"
1784   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-ndrdisc"
1785   data:
1786     "plot-throughput-speedup-analysis"
1787   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1788   parameters:
1789   - "throughput"
1790   - "parent"
1791   - "tags"
1792   layout:
1793     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1794     layout:
1795       "plot-throughput-speedup-analysis"
1796
1797 # IP6_overlay - PDR
1798 -
1799   type: "plot"
1800   title: "TSA: 78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1801   algorithm: "plot_throughput_speedup_analysis"
1802   output-file-type: ".html"
1803   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-pdrdisc"
1804   data:
1805     "plot-throughput-speedup-analysis"
1806   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1807   parameters:
1808   - "throughput"
1809   - "parent"
1810   - "tags"
1811   layout:
1812     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1813     layout:
1814       "plot-throughput-speedup-analysis"
1815
1816 # VM VHOST - NDR
1817 -
1818   type: "plot"
1819   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1820   algorithm: "plot_throughput_speedup_analysis"
1821   output-file-type: ".html"
1822   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-ndrdisc"
1823   data:
1824     "plot-throughput-speedup-analysis"
1825   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1826   parameters:
1827   - "throughput"
1828   - "parent"
1829   - "tags"
1830   layout:
1831     title: "64B-*-.*vhost.*-ndrdisc"
1832     layout:
1833       "plot-throughput-speedup-analysis"
1834
1835 -
1836   type: "plot"
1837   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1838   algorithm: "plot_throughput_speedup_analysis"
1839   output-file-type: ".html"
1840   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-ndrdisc"
1841   data:
1842     "plot-throughput-speedup-analysis"
1843   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1844   parameters:
1845   - "throughput"
1846   - "parent"
1847   - "tags"
1848   layout:
1849     title: "64B-*-.*vhost.*-ndrdisc"
1850     layout:
1851       "plot-throughput-speedup-analysis"
1852
1853 -
1854   type: "plot"
1855   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1856   algorithm: "plot_throughput_speedup_analysis"
1857   output-file-type: ".html"
1858   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-ndrdisc"
1859   data:
1860     "plot-throughput-speedup-analysis"
1861   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1862   parameters:
1863   - "throughput"
1864   - "parent"
1865   - "tags"
1866   layout:
1867     title: "64B-*-.*vhost.*-ndrdisc"
1868     layout:
1869       "plot-throughput-speedup-analysis"
1870
1871 -
1872   type: "plot"
1873   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1874   algorithm: "plot_throughput_speedup_analysis"
1875   output-file-type: ".html"
1876   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-ndrdisc"
1877   data:
1878     "plot-throughput-speedup-analysis"
1879   filter: "'NIC_Intel-X710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1880   parameters:
1881   - "throughput"
1882   - "parent"
1883   - "tags"
1884   layout:
1885     title: "64B-*-.*vhost.*-ndrdisc"
1886     layout:
1887       "plot-throughput-speedup-analysis"
1888
1889 -
1890   type: "plot"
1891   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1892   algorithm: "plot_throughput_speedup_analysis"
1893   output-file-type: ".html"
1894   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-ndrdisc"
1895   data:
1896     "plot-throughput-speedup-analysis"
1897   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1898   parameters:
1899   - "throughput"
1900   - "parent"
1901   - "tags"
1902   layout:
1903     title: "64B-*-.*vhost.*-ndrdisc"
1904     layout:
1905       "plot-throughput-speedup-analysis"
1906
1907 # VM VHOST - PDR
1908 -
1909   type: "plot"
1910   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1911   algorithm: "plot_throughput_speedup_analysis"
1912   output-file-type: ".html"
1913   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-pdrdisc"
1914   data:
1915     "plot-throughput-speedup-analysis"
1916   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1917   parameters:
1918   - "throughput"
1919   - "parent"
1920   - "tags"
1921   layout:
1922     title: "64B-*-.*vhost.*-pdrdisc"
1923     layout:
1924       "plot-throughput-speedup-analysis"
1925
1926 -
1927   type: "plot"
1928   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1929   algorithm: "plot_throughput_speedup_analysis"
1930   output-file-type: ".html"
1931   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-pdrdisc"
1932   data:
1933     "plot-throughput-speedup-analysis"
1934   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1935   parameters:
1936   - "throughput"
1937   - "parent"
1938   - "tags"
1939   layout:
1940     title: "64B-*-.*vhost.*-pdrdisc"
1941     layout:
1942       "plot-throughput-speedup-analysis"
1943
1944 -
1945   type: "plot"
1946   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1947   algorithm: "plot_throughput_speedup_analysis"
1948   output-file-type: ".html"
1949   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-pdrdisc"
1950   data:
1951     "plot-throughput-speedup-analysis"
1952   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1953   parameters:
1954   - "throughput"
1955   - "parent"
1956   - "tags"
1957   layout:
1958     title: "64B-*-.*vhost.*-pdrdisc"
1959     layout:
1960       "plot-throughput-speedup-analysis"
1961
1962 -
1963   type: "plot"
1964   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1965   algorithm: "plot_throughput_speedup_analysis"
1966   output-file-type: ".html"
1967   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-pdrdisc"
1968   data:
1969     "plot-throughput-speedup-analysis"
1970   filter: "'NIC_Intel-X710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1971   parameters:
1972   - "throughput"
1973   - "parent"
1974   - "tags"
1975   layout:
1976     title: "64B-*-.*vhost.*-pdrdisc"
1977     layout:
1978       "plot-throughput-speedup-analysis"
1979
1980 -
1981   type: "plot"
1982   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1983   algorithm: "plot_throughput_speedup_analysis"
1984   output-file-type: ".html"
1985   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-pdrdisc"
1986   data:
1987     "plot-throughput-speedup-analysis"
1988   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1989   parameters:
1990   - "throughput"
1991   - "parent"
1992   - "tags"
1993   layout:
1994     title: "64B-*-.*vhost.*-pdrdisc"
1995     layout:
1996       "plot-throughput-speedup-analysis"
1997
1998 # CRYPTO - NDR
1999 -
2000   type: "plot"
2001   title: "TSA: 64B-*-.*ipsec.*-ndrdisc"
2002   algorithm: "plot_throughput_speedup_analysis"
2003   output-file-type: ".html"
2004   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-ndrdisc"
2005   data:
2006     "plot-throughput-speedup-analysis"
2007   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2008   parameters:
2009   - "throughput"
2010   - "parent"
2011   - "tags"
2012   layout:
2013     title: "64B-*-.*ipsec.*-ndrdisc"
2014     layout:
2015       "plot-throughput-speedup-analysis"
2016
2017 # CRYPTO - PDR
2018 -
2019   type: "plot"
2020   title: "TSA: 64B-*-.*ipsec.*-pdrdisc"
2021   algorithm: "plot_throughput_speedup_analysis"
2022   output-file-type: ".html"
2023   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-pdrdisc"
2024   data:
2025     "plot-throughput-speedup-analysis"
2026   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2027   parameters:
2028   - "throughput"
2029   - "parent"
2030   - "tags"
2031   layout:
2032     title: "64B-*-.*ipsec.*-pdrdisc"
2033     layout:
2034       "plot-throughput-speedup-analysis"
2035
2036 # Container memif - NDR
2037 -
2038   type: "plot"
2039   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2040   algorithm: "plot_throughput_speedup_analysis"
2041   output-file-type: ".html"
2042   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-ndrdisc"
2043   data:
2044     "plot-throughput-speedup-analysis"
2045   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2046   parameters:
2047   - "throughput"
2048   - "parent"
2049   - "tags"
2050   layout:
2051     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2052     layout:
2053       "plot-throughput-speedup-analysis"
2054
2055 # Container memif - PDR
2056 -
2057   type: "plot"
2058   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2059   algorithm: "plot_throughput_speedup_analysis"
2060   output-file-type: ".html"
2061   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-pdrdisc"
2062   data:
2063     "plot-throughput-speedup-analysis"
2064   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2065   parameters:
2066   - "throughput"
2067   - "parent"
2068   - "tags"
2069   layout:
2070     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2071     layout:
2072       "plot-throughput-speedup-analysis"
2073
2074 # Container orchestrated - NDR
2075 -
2076   type: "plot"
2077   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2078   algorithm: "plot_throughput_speedup_analysis"
2079   output-file-type: ".html"
2080   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-ndrdisc"
2081   data:
2082     "plot-ligato-throughput-speedup-analysis"
2083   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2084   parameters:
2085   - "throughput"
2086   - "parent"
2087   - "tags"
2088   layout:
2089     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2090     layout:
2091       "plot-throughput-speedup-analysis"
2092
2093 -
2094   type: "plot"
2095   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2096   algorithm: "plot_throughput_speedup_analysis"
2097   output-file-type: ".html"
2098   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-ndrdisc"
2099   data:
2100     "plot-ligato-throughput-speedup-analysis"
2101   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2102   parameters:
2103   - "throughput"
2104   - "parent"
2105   - "tags"
2106   layout:
2107     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2108     layout:
2109       "plot-throughput-speedup-analysis"
2110
2111 # Container orchestrated - PDR
2112 -
2113   type: "plot"
2114   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2115   algorithm: "plot_throughput_speedup_analysis"
2116   output-file-type: ".html"
2117   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-pdrdisc"
2118   data:
2119     "plot-ligato-throughput-speedup-analysis"
2120   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and ''PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2121   parameters:
2122   - "throughput"
2123   - "parent"
2124   - "tags"
2125   layout:
2126     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2127     layout:
2128       "plot-throughput-speedup-analysis"
2129
2130 -
2131   type: "plot"
2132   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2133   algorithm: "plot_throughput_speedup_analysis"
2134   output-file-type: ".html"
2135   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-pdrdisc"
2136   data:
2137     "plot-ligato-throughput-speedup-analysis"
2138   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2139   parameters:
2140   - "throughput"
2141   - "parent"
2142   - "tags"
2143   layout:
2144     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2145     layout:
2146       "plot-throughput-speedup-analysis"
2147
2148 # Plot packets per second
2149
2150 # VPP L2 sel1
2151 -
2152   type: "plot"
2153   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2154   algorithm: "plot_performance_box"
2155   output-file-type: ".html"
2156   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
2157   data:
2158     "plot-vpp-throughput-latency"
2159   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2160   # each tag is enclosed with ' (apostrophe).
2161   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2162   parameters:
2163   - "throughput"
2164   - "parent"
2165   traces:
2166     hoverinfo: "x+y"
2167     boxpoints: "outliers"
2168     whiskerwidth: 0
2169   layout:
2170     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2171     layout:
2172       "plot-throughput"
2173
2174 -
2175   type: "plot"
2176   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2177   algorithm: "plot_performance_box"
2178   output-file-type: ".html"
2179   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
2180   data:
2181     "plot-vpp-throughput-latency"
2182   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2183   parameters:
2184   - "throughput"
2185   - "parent"
2186   traces:
2187     hoverinfo: "x+y"
2188     boxpoints: "outliers"
2189     whiskerwidth: 0
2190   layout:
2191     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2192     layout:
2193       "plot-throughput"
2194
2195 -
2196   type: "plot"
2197   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2198   algorithm: "plot_performance_box"
2199   output-file-type: ".html"
2200   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
2201   data:
2202     "plot-vpp-throughput-latency"
2203   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2204   parameters:
2205   - "throughput"
2206   - "parent"
2207   traces:
2208     hoverinfo: "x+y"
2209     boxpoints: "outliers"
2210     whiskerwidth: 0
2211   layout:
2212     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2213     layout:
2214       "plot-throughput"
2215
2216 -
2217   type: "plot"
2218   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2219   algorithm: "plot_performance_box"
2220   output-file-type: ".html"
2221   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
2222   data:
2223     "plot-vpp-throughput-latency"
2224   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2225   parameters:
2226   - "throughput"
2227   - "parent"
2228   traces:
2229     hoverinfo: "x+y"
2230     boxpoints: "outliers"
2231     whiskerwidth: 0
2232   layout:
2233     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2234     layout:
2235       "plot-throughput"
2236
2237 # VPP L2 sel2
2238 -
2239   type: "plot"
2240   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2241   algorithm: "plot_performance_box"
2242   output-file-type: ".html"
2243   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
2244   data:
2245     "plot-vpp-throughput-latency"
2246   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2247   parameters:
2248   - "throughput"
2249   - "parent"
2250   traces:
2251     hoverinfo: "x+y"
2252     boxpoints: "outliers"
2253     whiskerwidth: 0
2254   layout:
2255     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2256     layout:
2257       "plot-throughput"
2258
2259 -
2260   type: "plot"
2261   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2262   algorithm: "plot_performance_box"
2263   output-file-type: ".html"
2264   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
2265   data:
2266     "plot-vpp-throughput-latency"
2267   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2268   parameters:
2269   - "throughput"
2270   - "parent"
2271   traces:
2272     hoverinfo: "x+y"
2273     boxpoints: "outliers"
2274     whiskerwidth: 0
2275   layout:
2276     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2277     layout:
2278       "plot-throughput"
2279
2280 -
2281   type: "plot"
2282   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2283   algorithm: "plot_performance_box"
2284   output-file-type: ".html"
2285   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
2286   data:
2287     "plot-vpp-throughput-latency"
2288   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2289   parameters:
2290   - "throughput"
2291   - "parent"
2292   traces:
2293     hoverinfo: "x+y"
2294     boxpoints: "outliers"
2295     whiskerwidth: 0
2296   layout:
2297     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2298     layout:
2299       "plot-throughput"
2300
2301 -
2302   type: "plot"
2303   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2304   algorithm: "plot_performance_box"
2305   output-file-type: ".html"
2306   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
2307   data:
2308     "plot-vpp-throughput-latency"
2309   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2310   parameters:
2311   - "throughput"
2312   - "parent"
2313   traces:
2314     hoverinfo: "x+y"
2315     boxpoints: "outliers"
2316     whiskerwidth: 0
2317   layout:
2318     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2319     layout:
2320       "plot-throughput"
2321
2322 # VPP IP4
2323 -
2324   type: "plot"
2325   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2326   algorithm: "plot_performance_box"
2327   output-file-type: ".html"
2328   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
2329   data:
2330     "plot-vpp-throughput-latency"
2331   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2332   parameters:
2333   - "throughput"
2334   - "parent"
2335   traces:
2336     hoverinfo: "x+y"
2337     boxpoints: "outliers"
2338     whiskerwidth: 0
2339   layout:
2340     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2341     layout:
2342       "plot-throughput"
2343
2344 -
2345   type: "plot"
2346   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2347   algorithm: "plot_performance_box"
2348   output-file-type: ".html"
2349   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
2350   data:
2351     "plot-vpp-throughput-latency"
2352   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2353   parameters:
2354   - "throughput"
2355   - "parent"
2356   traces:
2357     hoverinfo: "x+y"
2358     boxpoints: "outliers"
2359     whiskerwidth: 0
2360   layout:
2361     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2362     layout:
2363       "plot-throughput"
2364
2365 -
2366   type: "plot"
2367   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2368   algorithm: "plot_performance_box"
2369   output-file-type: ".html"
2370   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
2371   data:
2372     "plot-vpp-throughput-latency"
2373   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2374   parameters:
2375   - "throughput"
2376   - "parent"
2377   traces:
2378     hoverinfo: "x+y"
2379     boxpoints: "outliers"
2380     whiskerwidth: 0
2381   layout:
2382     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2383     layout:
2384       "plot-throughput"
2385
2386 -
2387   type: "plot"
2388   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2389   algorithm: "plot_performance_box"
2390   output-file-type: ".html"
2391   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
2392   data:
2393     "plot-vpp-throughput-latency"
2394   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2395   parameters:
2396   - "throughput"
2397   - "parent"
2398   traces:
2399     hoverinfo: "x+y"
2400     boxpoints: "outliers"
2401     whiskerwidth: 0
2402   layout:
2403     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2404     layout:
2405       "plot-throughput"
2406
2407 # VPP IP6
2408 -
2409   type: "plot"
2410   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2411   algorithm: "plot_performance_box"
2412   output-file-type: ".html"
2413   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
2414   data:
2415     "plot-vpp-throughput-latency"
2416   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2417   parameters:
2418   - "throughput"
2419   - "parent"
2420   traces:
2421     hoverinfo: "x+y"
2422     boxpoints: "outliers"
2423     whiskerwidth: 0
2424   layout:
2425     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2426     layout:
2427       "plot-throughput"
2428
2429 -
2430   type: "plot"
2431   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2432   algorithm: "plot_performance_box"
2433   output-file-type: ".html"
2434   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
2435   data:
2436     "plot-vpp-throughput-latency"
2437   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2438   parameters:
2439   - "throughput"
2440   - "parent"
2441   traces:
2442     hoverinfo: "x+y"
2443     boxpoints: "outliers"
2444     whiskerwidth: 0
2445   layout:
2446     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2447     layout:
2448       "plot-throughput"
2449
2450 -
2451   type: "plot"
2452   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2453   algorithm: "plot_performance_box"
2454   output-file-type: ".html"
2455   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
2456   data:
2457     "plot-vpp-throughput-latency"
2458   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2459   parameters:
2460   - "throughput"
2461   - "parent"
2462   traces:
2463     hoverinfo: "x+y"
2464     boxpoints: "outliers"
2465     whiskerwidth: 0
2466   layout:
2467     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2468     layout:
2469       "plot-throughput"
2470
2471 -
2472   type: "plot"
2473   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2474   algorithm: "plot_performance_box"
2475   output-file-type: ".html"
2476   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
2477   data:
2478     "plot-vpp-throughput-latency"
2479   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2480   parameters:
2481   - "throughput"
2482   - "parent"
2483   traces:
2484     hoverinfo: "x+y"
2485     boxpoints: "outliers"
2486     whiskerwidth: 0
2487   layout:
2488     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2489     layout:
2490       "plot-throughput"
2491
2492 # VPP IP4_overlay
2493 -
2494   type: "plot"
2495   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2496   algorithm: "plot_performance_box"
2497   output-file-type: ".html"
2498   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
2499   data:
2500     "plot-vpp-throughput-latency"
2501   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2502   parameters:
2503   - "throughput"
2504   - "parent"
2505   traces:
2506     hoverinfo: "x+y"
2507     boxpoints: "outliers"
2508     whiskerwidth: 0
2509   layout:
2510     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2511     layout:
2512       "plot-throughput"
2513
2514 -
2515   type: "plot"
2516   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2517   algorithm: "plot_performance_box"
2518   output-file-type: ".html"
2519   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
2520   data:
2521     "plot-vpp-throughput-latency"
2522   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2523   parameters:
2524   - "throughput"
2525   - "parent"
2526   traces:
2527     hoverinfo: "x+y"
2528     boxpoints: "outliers"
2529     whiskerwidth: 0
2530   layout:
2531     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2532     layout:
2533       "plot-throughput"
2534
2535 -
2536   type: "plot"
2537   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2538   algorithm: "plot_performance_box"
2539   output-file-type: ".html"
2540   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2541   data:
2542     "plot-vpp-throughput-latency"
2543   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2544   parameters:
2545   - "throughput"
2546   - "parent"
2547   traces:
2548     hoverinfo: "x+y"
2549     boxpoints: "outliers"
2550     whiskerwidth: 0
2551   layout:
2552     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2553     layout:
2554       "plot-throughput"
2555
2556 -
2557   type: "plot"
2558   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2559   algorithm: "plot_performance_box"
2560   output-file-type: ".html"
2561   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2562   data:
2563     "plot-vpp-throughput-latency"
2564   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2565   parameters:
2566   - "throughput"
2567   - "parent"
2568   traces:
2569     hoverinfo: "x+y"
2570     boxpoints: "outliers"
2571     whiskerwidth: 0
2572   layout:
2573     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2574     layout:
2575       "plot-throughput"
2576
2577 # VPP IP6_overlay
2578 -
2579   type: "plot"
2580   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2581   algorithm: "plot_performance_box"
2582   output-file-type: ".html"
2583   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2584   data:
2585     "plot-vpp-throughput-latency"
2586   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2587   parameters:
2588   - "throughput"
2589   - "parent"
2590   traces:
2591     hoverinfo: "x+y"
2592     boxpoints: "outliers"
2593     whiskerwidth: 0
2594   layout:
2595     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2596     xaxis:
2597       autorange: True
2598       autotick: False
2599       fixedrange: False
2600       gridcolor: "rgb(238, 238, 238)"
2601       linecolor: "rgb(238, 238, 238)"
2602       linewidth: 1
2603       showgrid: True
2604       showline: True
2605       showticklabels: True
2606       tickcolor: "rgb(238, 238, 238)"
2607       tickmode: "linear"
2608       title: "Indexed Test Cases"
2609       zeroline: False
2610     yaxis:
2611       gridcolor: "rgb(238, 238, 238)'"
2612       hoverformat: ".4s"
2613       linecolor: "rgb(238, 238, 238)"
2614       linewidth: 1
2615       range: [2000000, 6000000]
2616       showgrid: True
2617       showline: True
2618       showticklabels: True
2619       tickcolor: "rgb(238, 238, 238)"
2620       title: "Packets Per Second [pps]"
2621       zeroline: False
2622     boxmode: "group"
2623     boxgroupgap: 0.5
2624     autosize: False
2625     margin:
2626       t: 50
2627       b: 20
2628       l: 50
2629       r: 20
2630     showlegend: True
2631     legend:
2632       orientation: "h"
2633     width: 700
2634     height: 1000
2635
2636 -
2637   type: "plot"
2638   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2639   algorithm: "plot_performance_box"
2640   output-file-type: ".html"
2641   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2642   data:
2643     "plot-vpp-throughput-latency"
2644   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2645   parameters:
2646   - "throughput"
2647   - "parent"
2648   traces:
2649     hoverinfo: "x+y"
2650     boxpoints: "outliers"
2651     whiskerwidth: 0
2652   layout:
2653     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2654     layout:
2655       "plot-throughput"
2656
2657 -
2658   type: "plot"
2659   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2660   algorithm: "plot_performance_box"
2661   output-file-type: ".html"
2662   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2663   data:
2664     "plot-vpp-throughput-latency"
2665   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2666   parameters:
2667   - "throughput"
2668   - "parent"
2669   traces:
2670     hoverinfo: "x+y"
2671     boxpoints: "outliers"
2672     whiskerwidth: 0
2673   layout:
2674     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2675     layout:
2676       "plot-throughput"
2677
2678 -
2679   type: "plot"
2680   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2681   algorithm: "plot_performance_box"
2682   output-file-type: ".html"
2683   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2684   data:
2685     "plot-vpp-throughput-latency"
2686   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2687   parameters:
2688   - "throughput"
2689   - "parent"
2690   traces:
2691     hoverinfo: "x+y"
2692     boxpoints: "outliers"
2693     whiskerwidth: 0
2694   layout:
2695     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2696     xaxis:
2697       autorange: True
2698       autotick: False
2699       fixedrange: False
2700       gridcolor: "rgb(238, 238, 238)"
2701       linecolor: "rgb(238, 238, 238)"
2702       linewidth: 1
2703       showgrid: True
2704       showline: True
2705       showticklabels: True
2706       tickcolor: "rgb(238, 238, 238)"
2707       tickmode: "linear"
2708       title: "Indexed Test Cases"
2709       zeroline: False
2710     yaxis:
2711       gridcolor: "rgb(238, 238, 238)'"
2712       hoverformat: ".4s"
2713       linecolor: "rgb(238, 238, 238)"
2714       linewidth: 1
2715       range: [4000000, 12000000]
2716       showgrid: True
2717       showline: True
2718       showticklabels: True
2719       tickcolor: "rgb(238, 238, 238)"
2720       title: "Packets Per Second [pps]"
2721       zeroline: False
2722     boxmode: "group"
2723     boxgroupgap: 0.5
2724     autosize: False
2725     margin:
2726       t: 50
2727       b: 20
2728       l: 50
2729       r: 20
2730     showlegend: True
2731     legend:
2732       orientation: "h"
2733     width: 700
2734     height: 1000
2735
2736 # VPP VM VHOST
2737 -
2738   type: "plot"
2739   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2740   algorithm: "plot_performance_box"
2741   output-file-type: ".html"
2742   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2743   data:
2744     "plot-vpp-throughput-latency"
2745   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2746   parameters:
2747   - "throughput"
2748   - "parent"
2749   traces:
2750     hoverinfo: "x+y"
2751     boxpoints: "outliers"
2752     whiskerwidth: 0
2753   layout:
2754     title: "64B-1t1c-.*vhost.*-ndrdisc"
2755     xaxis:
2756       autorange: True
2757       autotick: False
2758       fixedrange: False
2759       gridcolor: "rgb(238, 238, 238)"
2760       linecolor: "rgb(238, 238, 238)"
2761       linewidth: 1
2762       showgrid: True
2763       showline: True
2764       showticklabels: True
2765       tickcolor: "rgb(238, 238, 238)"
2766       tickmode: "linear"
2767       title: "Indexed Test Cases"
2768       zeroline: False
2769     yaxis:
2770       gridcolor: "rgb(238, 238, 238)'"
2771       hoverformat: ".4s"
2772       linecolor: "rgb(238, 238, 238)"
2773       linewidth: 1
2774       range: [0, 3500000]
2775       showgrid: True
2776       showline: True
2777       showticklabels: True
2778       tickcolor: "rgb(238, 238, 238)"
2779       title: "Packets Per Second [pps]"
2780       zeroline: False
2781     boxmode: "group"
2782     boxgroupgap: 0.5
2783     autosize: False
2784     margin:
2785       t: 50
2786       b: 20
2787       l: 50
2788       r: 20
2789     showlegend: True
2790     legend:
2791       orientation: "h"
2792     width: 700
2793     height: 1000
2794
2795 -
2796   type: "plot"
2797   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2798   algorithm: "plot_performance_box"
2799   output-file-type: ".html"
2800   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2801   data:
2802     "plot-vpp-throughput-latency"
2803   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2804   parameters:
2805   - "throughput"
2806   - "parent"
2807   traces:
2808     hoverinfo: "x+y"
2809     boxpoints: "outliers"
2810     whiskerwidth: 0
2811   layout:
2812     title: "64B-2t2c-.*vhost.*-ndrdisc"
2813     layout:
2814       "plot-throughput"
2815
2816 -
2817   type: "plot"
2818   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2819   algorithm: "plot_performance_box"
2820   output-file-type: ".html"
2821   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2822   data:
2823     "plot-vpp-throughput-latency"
2824   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2825   parameters:
2826   - "throughput"
2827   - "parent"
2828   traces:
2829     hoverinfo: "x+y"
2830     boxpoints: "outliers"
2831     whiskerwidth: 0
2832   layout:
2833     title: "64B-1t1c-.*vhost.*-pdrdisc"
2834     layout:
2835       "plot-throughput"
2836
2837 -
2838   type: "plot"
2839   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2840   algorithm: "plot_performance_box"
2841   output-file-type: ".html"
2842   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2843   data:
2844     "plot-vpp-throughput-latency"
2845   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2846   parameters:
2847   - "throughput"
2848   - "parent"
2849   traces:
2850     hoverinfo: "x+y"
2851     boxpoints: "outliers"
2852     whiskerwidth: 0
2853   layout:
2854     title: "64B-2t2c-.*vhost.*-pdrdisc"
2855     layout:
2856       "plot-throughput"
2857
2858 # VPP VM VHOST SELECTION
2859 -
2860   type: "plot"
2861   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2862   algorithm: "plot_performance_box"
2863   output-file-type: ".html"
2864   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2865   data:
2866     "plot-vpp-throughput-latency"
2867   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2868   parameters:
2869   - "throughput"
2870   - "parent"
2871   traces:
2872     hoverinfo: "x+y"
2873     boxpoints: "outliers"
2874     whiskerwidth: 0
2875   layout:
2876     title: "64B-1t1c-.*vhost.*-ndrdisc"
2877     layout:
2878       "plot-throughput"
2879
2880 -
2881   type: "plot"
2882   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2883   algorithm: "plot_performance_box"
2884   output-file-type: ".html"
2885   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2886   data:
2887     "plot-vpp-throughput-latency"
2888   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2889   parameters:
2890   - "throughput"
2891   - "parent"
2892   traces:
2893     hoverinfo: "x+y"
2894     boxpoints: "outliers"
2895     whiskerwidth: 0
2896   layout:
2897     title: "64B-2t2c-.*vhost.*-ndrdisc"
2898     layout:
2899       "plot-throughput"
2900
2901 -
2902   type: "plot"
2903   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2904   algorithm: "plot_performance_box"
2905   output-file-type: ".html"
2906   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2907   data:
2908     "plot-vpp-throughput-latency"
2909   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2910   parameters:
2911   - "throughput"
2912   - "parent"
2913   traces:
2914     hoverinfo: "x+y"
2915     boxpoints: "outliers"
2916     whiskerwidth: 0
2917   layout:
2918     title: "64B-1t1c-.*vhost.*-pdrdisc"
2919     layout:
2920       "plot-throughput"
2921
2922 -
2923   type: "plot"
2924   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2925   algorithm: "plot_performance_box"
2926   output-file-type: ".html"
2927   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2928   data:
2929     "plot-vpp-throughput-latency"
2930   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2931   parameters:
2932   - "throughput"
2933   - "parent"
2934   traces:
2935     hoverinfo: "x+y"
2936     boxpoints: "outliers"
2937     whiskerwidth: 0
2938   layout:
2939     title: "64B-2t2c-.*vhost.*-pdrdisc"
2940     layout:
2941       "plot-throughput"
2942
2943 # VPP CRYPTO
2944 -
2945   type: "plot"
2946   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2947   algorithm: "plot_performance_box"
2948   output-file-type: ".html"
2949   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2950   data:
2951     "plot-vpp-throughput-latency"
2952   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2953   parameters:
2954   - "throughput"
2955   - "parent"
2956   traces:
2957     hoverinfo: "x+y"
2958     boxpoints: "outliers"
2959     whiskerwidth: 0
2960   layout:
2961     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2962     layout:
2963       "plot-throughput"
2964
2965 -
2966   type: "plot"
2967   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2968   algorithm: "plot_performance_box"
2969   output-file-type: ".html"
2970   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2971   data:
2972     "plot-vpp-throughput-latency"
2973   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2974   parameters:
2975   - "throughput"
2976   - "parent"
2977   traces:
2978     hoverinfo: "x+y"
2979     boxpoints: "outliers"
2980     whiskerwidth: 0
2981   layout:
2982     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2983     layout:
2984       "plot-throughput"
2985
2986 -
2987   type: "plot"
2988   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2989   algorithm: "plot_performance_box"
2990   output-file-type: ".html"
2991   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2992   data:
2993     "plot-vpp-throughput-latency"
2994   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2995   parameters:
2996   - "throughput"
2997   - "parent"
2998   traces:
2999     hoverinfo: "x+y"
3000     boxpoints: "outliers"
3001     whiskerwidth: 0
3002   layout:
3003     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3004     layout:
3005       "plot-throughput"
3006
3007 -
3008   type: "plot"
3009   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3010   algorithm: "plot_performance_box"
3011   output-file-type: ".html"
3012   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3013   data:
3014     "plot-vpp-throughput-latency"
3015   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3016   parameters:
3017   - "throughput"
3018   - "parent"
3019   traces:
3020     hoverinfo: "x+y"
3021     boxpoints: "outliers"
3022     whiskerwidth: 0
3023   layout:
3024     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3025     layout:
3026       "plot-throughput"
3027
3028 # DPDK
3029 -
3030   type: "plot"
3031   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3032   algorithm: "plot_performance_box"
3033   output-file-type: ".html"
3034   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3035   data:
3036     "plot-dpdk-throughput-latency"
3037   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3038   parameters:
3039   - "throughput"
3040   - "parent"
3041   traces:
3042     hoverinfo: "x+y"
3043     boxpoints: "outliers"
3044     whiskerwidth: 0
3045   layout:
3046     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3047     layout:
3048       "plot-throughput"
3049
3050 -
3051   type: "plot"
3052   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3053   algorithm: "plot_performance_box"
3054   output-file-type: ".html"
3055   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3056   data:
3057     "plot-dpdk-throughput-latency"
3058   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3059   parameters:
3060   - "throughput"
3061   - "parent"
3062   traces:
3063     hoverinfo: "x+y"
3064     boxpoints: "outliers"
3065     whiskerwidth: 0
3066   layout:
3067     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3068     layout:
3069       "plot-throughput"
3070
3071 -
3072   type: "plot"
3073   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3074   algorithm: "plot_performance_box"
3075   output-file-type: ".html"
3076   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3077   data:
3078     "plot-dpdk-throughput-latency"
3079   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3080   parameters:
3081   - "throughput"
3082   - "parent"
3083   traces:
3084     hoverinfo: "x+y"
3085     boxpoints: "outliers"
3086     whiskerwidth: 0
3087   layout:
3088     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3089     xaxis:
3090       autorange: True
3091       autotick: False
3092       fixedrange: False
3093       gridcolor: "rgb(238, 238, 238)"
3094       linecolor: "rgb(238, 238, 238)"
3095       linewidth: 1
3096       showgrid: True
3097       showline: True
3098       showticklabels: True
3099       tickcolor: "rgb(238, 238, 238)"
3100       tickmode: "linear"
3101       title: "Indexed Test Cases"
3102       zeroline: False
3103     yaxis:
3104       gridcolor: "rgb(238, 238, 238)'"
3105       hoverformat: ".4s"
3106       linecolor: "rgb(238, 238, 238)"
3107       linewidth: 1
3108       range: [2000000, 12000000]
3109       showgrid: True
3110       showline: True
3111       showticklabels: True
3112       tickcolor: "rgb(238, 238, 238)"
3113       title: "Packets Per Second [pps]"
3114       zeroline: False
3115     boxmode: "group"
3116     boxgroupgap: 0.5
3117     autosize: False
3118     margin:
3119       t: 50
3120       b: 20
3121       l: 50
3122       r: 20
3123     showlegend: True
3124     legend:
3125       orientation: "h"
3126     width: 700
3127     height: 1000
3128
3129 -
3130   type: "plot"
3131   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3132   algorithm: "plot_performance_box"
3133   output-file-type: ".html"
3134   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3135   data:
3136     "plot-dpdk-throughput-latency"
3137   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3138   parameters:
3139   - "throughput"
3140   - "parent"
3141   traces:
3142     hoverinfo: "x+y"
3143     boxpoints: "outliers"
3144     whiskerwidth: 0
3145   layout:
3146     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3147     xaxis:
3148       autorange: True
3149       autotick: False
3150       fixedrange: False
3151       gridcolor: "rgb(238, 238, 238)"
3152       linecolor: "rgb(238, 238, 238)"
3153       linewidth: 1
3154       showgrid: True
3155       showline: True
3156       showticklabels: True
3157       tickcolor: "rgb(238, 238, 238)"
3158       tickmode: "linear"
3159       title: "Indexed Test Cases"
3160       zeroline: False
3161     yaxis:
3162       gridcolor: "rgb(238, 238, 238)'"
3163       hoverformat: ".4s"
3164       linecolor: "rgb(238, 238, 238)"
3165       linewidth: 1
3166       range: [2000000, 12000000]
3167       showgrid: True
3168       showline: True
3169       showticklabels: True
3170       tickcolor: "rgb(238, 238, 238)"
3171       title: "Packets Per Second [pps]"
3172       zeroline: False
3173     boxmode: "group"
3174     boxgroupgap: 0.5
3175     autosize: False
3176     margin:
3177       t: 50
3178       b: 20
3179       l: 50
3180       r: 20
3181     showlegend: True
3182     legend:
3183       orientation: "h"
3184     width: 700
3185     height: 1000
3186
3187 -
3188   type: "plot"
3189   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3190   algorithm: "plot_performance_box"
3191   output-file-type: ".html"
3192   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3193   data:
3194     "plot-dpdk-throughput-latency"
3195   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3196   parameters:
3197   - "throughput"
3198   - "parent"
3199   traces:
3200     hoverinfo: "x+y"
3201     boxpoints: "outliers"
3202     whiskerwidth: 0
3203   layout:
3204     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3205     layout:
3206       "plot-throughput"
3207
3208 -
3209   type: "plot"
3210   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3211   algorithm: "plot_performance_box"
3212   output-file-type: ".html"
3213   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3214   data:
3215     "plot-dpdk-throughput-latency"
3216   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3217   parameters:
3218   - "throughput"
3219   - "parent"
3220   traces:
3221     hoverinfo: "x+y"
3222     boxpoints: "outliers"
3223     whiskerwidth: 0
3224   layout:
3225     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3226     layout:
3227       "plot-throughput"
3228
3229 -
3230   type: "plot"
3231   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3232   algorithm: "plot_performance_box"
3233   output-file-type: ".html"
3234   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3235   data:
3236     "plot-dpdk-throughput-latency"
3237   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3238   parameters:
3239   - "throughput"
3240   - "parent"
3241   traces:
3242     hoverinfo: "x+y"
3243     boxpoints: "outliers"
3244     whiskerwidth: 0
3245   layout:
3246     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3247     xaxis:
3248       autorange: True
3249       autotick: False
3250       fixedrange: False
3251       gridcolor: "rgb(238, 238, 238)"
3252       linecolor: "rgb(238, 238, 238)"
3253       linewidth: 1
3254       showgrid: True
3255       showline: True
3256       showticklabels: True
3257       tickcolor: "rgb(238, 238, 238)"
3258       tickmode: "linear"
3259       title: "Indexed Test Cases"
3260       zeroline: False
3261     yaxis:
3262       gridcolor: "rgb(238, 238, 238)'"
3263       hoverformat: ".4s"
3264       linecolor: "rgb(238, 238, 238)"
3265       linewidth: 1
3266       range: [20000000, 30000000]
3267       showgrid: True
3268       showline: True
3269       showticklabels: True
3270       tickcolor: "rgb(238, 238, 238)"
3271       title: "Packets Per Second [pps]"
3272       zeroline: False
3273     boxmode: "group"
3274     boxgroupgap: 0.5
3275     autosize: False
3276     margin:
3277       t: 50
3278       b: 20
3279       l: 50
3280       r: 20
3281     showlegend: True
3282     legend:
3283       orientation: "h"
3284     width: 700
3285     height: 1000
3286
3287 -
3288   type: "plot"
3289   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3290   algorithm: "plot_performance_box"
3291   output-file-type: ".html"
3292   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3293   data:
3294     "plot-dpdk-throughput-latency"
3295   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3296   parameters:
3297   - "throughput"
3298   - "parent"
3299   traces:
3300     hoverinfo: "x+y"
3301     boxpoints: "outliers"
3302     whiskerwidth: 0
3303   layout:
3304     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3305     xaxis:
3306       autorange: True
3307       autotick: False
3308       fixedrange: False
3309       gridcolor: "rgb(238, 238, 238)"
3310       linecolor: "rgb(238, 238, 238)"
3311       linewidth: 1
3312       showgrid: True
3313       showline: True
3314       showticklabels: True
3315       tickcolor: "rgb(238, 238, 238)"
3316       tickmode: "linear"
3317       title: "Indexed Test Cases"
3318       zeroline: False
3319     yaxis:
3320       gridcolor: "rgb(238, 238, 238)'"
3321       hoverformat: ".4s"
3322       linecolor: "rgb(238, 238, 238)"
3323       linewidth: 1
3324       range: [20000000, 30000000]
3325       showgrid: True
3326       showline: True
3327       showticklabels: True
3328       tickcolor: "rgb(238, 238, 238)"
3329       title: "Packets Per Second [pps]"
3330       zeroline: False
3331     boxmode: "group"
3332     boxgroupgap: 0.5
3333     autosize: False
3334     margin:
3335       t: 50
3336       b: 20
3337       l: 50
3338       r: 20
3339     showlegend: True
3340     legend:
3341       orientation: "h"
3342     width: 700
3343     height: 1000
3344
3345 # Plot latency
3346
3347 # VPP L2 sel1
3348 -
3349   type: "plot"
3350   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3351   algorithm: "plot_latency_box"
3352   output-file-type: ".html"
3353   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3354   data:
3355     "plot-vpp-throughput-latency"
3356   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3357   parameters:
3358   - "latency"
3359   - "parent"
3360   traces:
3361     boxmean: False
3362   layout:
3363     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3364     layout:
3365       "plot-latency"
3366
3367 -
3368   type: "plot"
3369   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3370   algorithm: "plot_latency_box"
3371   output-file-type: ".html"
3372   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3373   data:
3374     "plot-vpp-throughput-latency"
3375   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3376   parameters:
3377   - "latency"
3378   - "parent"
3379   traces:
3380     boxmean: False
3381   layout:
3382     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3383     layout:
3384       "plot-latency"
3385
3386 # VPP L2 sel2
3387 -
3388   type: "plot"
3389   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3390   algorithm: "plot_latency_box"
3391   output-file-type: ".html"
3392   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3393   data:
3394     "plot-vpp-throughput-latency"
3395   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3396   parameters:
3397   - "latency"
3398   - "parent"
3399   traces:
3400     boxmean: False
3401   layout:
3402     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3403     layout:
3404       "plot-latency"
3405
3406 -
3407   type: "plot"
3408   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3409   algorithm: "plot_latency_box"
3410   output-file-type: ".html"
3411   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3412   data:
3413     "plot-vpp-throughput-latency"
3414   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3415   parameters:
3416   - "latency"
3417   - "parent"
3418   traces:
3419     boxmean: False
3420   layout:
3421     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3422     layout:
3423       "plot-latency"
3424
3425 # VPP IP4
3426 -
3427   type: "plot"
3428   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3429   algorithm: "plot_latency_box"
3430   output-file-type: ".html"
3431   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3432   data:
3433     "plot-vpp-throughput-latency"
3434   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3435   parameters:
3436   - "latency"
3437   - "parent"
3438   traces:
3439     boxmean: False
3440   layout:
3441     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3442     layout:
3443       "plot-latency"
3444
3445 -
3446   type: "plot"
3447   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3448   algorithm: "plot_latency_box"
3449   output-file-type: ".html"
3450   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3451   data:
3452     "plot-vpp-throughput-latency"
3453   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3454   parameters:
3455   - "latency"
3456   - "parent"
3457   traces:
3458     boxmean: False
3459   layout:
3460     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3461     layout:
3462       "plot-latency"
3463
3464 # VPP IP6
3465 -
3466   type: "plot"
3467   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3468   algorithm: "plot_latency_box"
3469   output-file-type: ".html"
3470   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3471   data:
3472     "plot-vpp-throughput-latency"
3473   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3474   parameters:
3475   - "latency"
3476   - "parent"
3477   traces:
3478     boxmean: False
3479   layout:
3480     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3481     layout:
3482       "plot-latency"
3483
3484 -
3485   type: "plot"
3486   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3487   algorithm: "plot_latency_box"
3488   output-file-type: ".html"
3489   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3490   data:
3491     "plot-vpp-throughput-latency"
3492   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3493   parameters:
3494   - "latency"
3495   - "parent"
3496   traces:
3497     boxmean: False
3498   layout:
3499     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3500     layout:
3501       "plot-latency"
3502
3503 # VPP IP4_overlay
3504 -
3505   type: "plot"
3506   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3507   algorithm: "plot_latency_box"
3508   output-file-type: ".html"
3509   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3510   data:
3511     "plot-vpp-throughput-latency"
3512   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3513   parameters:
3514   - "latency"
3515   - "parent"
3516   traces:
3517     boxmean: False
3518   layout:
3519     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3520     layout:
3521       "plot-latency"
3522
3523 -
3524   type: "plot"
3525   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3526   algorithm: "plot_latency_box"
3527   output-file-type: ".html"
3528   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3529   data:
3530     "plot-vpp-throughput-latency"
3531   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3532   parameters:
3533   - "latency"
3534   - "parent"
3535   traces:
3536     boxmean: False
3537   layout:
3538     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3539     layout:
3540       "plot-latency"
3541
3542 # VPP IP6_overlay
3543 -
3544   type: "plot"
3545   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3546   algorithm: "plot_latency_box"
3547   output-file-type: ".html"
3548   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3549   data:
3550     "plot-vpp-throughput-latency"
3551   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3552   parameters:
3553   - "latency"
3554   - "parent"
3555   traces:
3556     boxmean: False
3557   layout:
3558     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3559     layout:
3560       "plot-latency"
3561
3562 -
3563   type: "plot"
3564   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3565   algorithm: "plot_latency_box"
3566   output-file-type: ".html"
3567   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3568   data:
3569     "plot-vpp-throughput-latency"
3570   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3571   parameters:
3572   - "latency"
3573   - "parent"
3574   traces:
3575     boxmean: False
3576   layout:
3577     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3578     layout:
3579       "plot-latency"
3580
3581 # VPP VM VHOST
3582 -
3583   type: "plot"
3584   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3585   algorithm: "plot_latency_box"
3586   output-file-type: ".html"
3587   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3588   data:
3589     "plot-vpp-throughput-latency"
3590   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3591   parameters:
3592   - "latency"
3593   - "parent"
3594   traces:
3595     boxmean: False
3596   layout:
3597     title: "64B-1t1c-.*vhost.*-ndrdisc"
3598     layout:
3599       "plot-latency"
3600
3601 -
3602   type: "plot"
3603   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3604   algorithm: "plot_latency_box"
3605   output-file-type: ".html"
3606   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3607   data:
3608     "plot-vpp-throughput-latency"
3609   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3610   parameters:
3611   - "latency"
3612   - "parent"
3613   traces:
3614     boxmean: False
3615   layout:
3616     title: "64B-2t2c-.*vhost.*-ndrdisc"
3617     layout:
3618       "plot-latency"
3619
3620 # VPP VM VHOST selection
3621 -
3622   type: "plot"
3623   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3624   algorithm: "plot_latency_box"
3625   output-file-type: ".html"
3626   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3627   data:
3628     "plot-vpp-throughput-latency"
3629   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3630   parameters:
3631   - "latency"
3632   - "parent"
3633   traces:
3634     boxmean: False
3635   layout:
3636     title: "64B-1t1c-.*vhost.*-ndrdisc"
3637     layout:
3638       "plot-latency"
3639
3640 -
3641   type: "plot"
3642   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3643   algorithm: "plot_latency_box"
3644   output-file-type: ".html"
3645   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3646   data:
3647     "plot-vpp-throughput-latency"
3648   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3649   parameters:
3650   - "latency"
3651   - "parent"
3652   traces:
3653     boxmean: False
3654   layout:
3655     title: "64B-2t2c-.*vhost.*-ndrdisc"
3656     layout:
3657       "plot-latency"
3658
3659 # VPP CRYPTO
3660 -
3661   type: "plot"
3662   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3663   algorithm: "plot_latency_box"
3664   output-file-type: ".html"
3665   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3666   data:
3667     "plot-vpp-throughput-latency"
3668   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3669   parameters:
3670   - "latency"
3671   - "parent"
3672   traces:
3673     boxmean: False
3674   layout:
3675     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3676     layout:
3677       "plot-latency"
3678
3679 -
3680   type: "plot"
3681   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3682   algorithm: "plot_latency_box"
3683   output-file-type: ".html"
3684   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3685   data:
3686     "plot-vpp-throughput-latency"
3687   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3688   parameters:
3689   - "latency"
3690   - "parent"
3691   traces:
3692     boxmean: False
3693   layout:
3694     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3695     layout:
3696       "plot-latency"
3697
3698 # DPDK
3699 -
3700   type: "plot"
3701   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3702   algorithm: "plot_latency_box"
3703   output-file-type: ".html"
3704   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3705   data:
3706     "plot-dpdk-throughput-latency"
3707   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3708   parameters:
3709   - "latency"
3710   - "parent"
3711   traces:
3712     boxmean: False
3713   layout:
3714     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3715     layout:
3716       "plot-latency"
3717
3718 -
3719   type: "plot"
3720   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3721   algorithm: "plot_latency_box"
3722   output-file-type: ".html"
3723   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3724   data:
3725     "plot-dpdk-throughput-latency"
3726   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3727   parameters:
3728   - "latency"
3729   - "parent"
3730   traces:
3731     boxmean: False
3732   layout:
3733     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3734     layout:
3735       "plot-latency"
3736
3737 -
3738   type: "plot"
3739   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3740   algorithm: "plot_latency_box"
3741   output-file-type: ".html"
3742   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3743   data:
3744     "plot-dpdk-throughput-latency"
3745   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3746   parameters:
3747   - "latency"
3748   - "parent"
3749   traces:
3750     boxmean: False
3751   layout:
3752     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3753     layout:
3754       "plot-latency"
3755
3756 -
3757   type: "plot"
3758   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3759   algorithm: "plot_latency_box"
3760   output-file-type: ".html"
3761   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3762   data:
3763     "plot-dpdk-throughput-latency"
3764   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3765   parameters:
3766   - "latency"
3767   - "parent"
3768   traces:
3769     boxmean: False
3770   layout:
3771     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3772     layout:
3773       "plot-latency"
3774
3775 # Ligato - Throughput
3776
3777 # Container memif
3778 -
3779   type: "plot"
3780   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3781   algorithm: "plot_performance_box"
3782   output-file-type: ".html"
3783   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3784   data:
3785     "plot-vpp-throughput-latency"
3786   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3787   parameters:
3788   - "throughput"
3789   - "parent"
3790   traces:
3791     hoverinfo: "x+y"
3792     boxpoints: "outliers"
3793     whiskerwidth: 0
3794   layout:
3795     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3796     layout:
3797       "plot-throughput"
3798
3799 -
3800   type: "plot"
3801   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3802   algorithm: "plot_performance_box"
3803   output-file-type: ".html"
3804   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3805   data:
3806     "plot-vpp-throughput-latency"
3807   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3808   parameters:
3809   - "throughput"
3810   - "parent"
3811   traces:
3812     hoverinfo: "x+y"
3813     boxpoints: "outliers"
3814     whiskerwidth: 0
3815   layout:
3816     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3817     layout:
3818       "plot-throughput"
3819
3820 -
3821   type: "plot"
3822   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3823   algorithm: "plot_performance_box"
3824   output-file-type: ".html"
3825   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3826   data:
3827     "plot-vpp-throughput-latency"
3828   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3829   parameters:
3830   - "throughput"
3831   - "parent"
3832   traces:
3833     hoverinfo: "x+y"
3834     boxpoints: "outliers"
3835     whiskerwidth: 0
3836   layout:
3837     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3838     layout:
3839       "plot-throughput"
3840
3841 -
3842   type: "plot"
3843   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3844   algorithm: "plot_performance_box"
3845   output-file-type: ".html"
3846   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3847   data:
3848     "plot-vpp-throughput-latency"
3849   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3850   parameters:
3851   - "throughput"
3852   - "parent"
3853   traces:
3854     hoverinfo: "x+y"
3855     boxpoints: "outliers"
3856     whiskerwidth: 0
3857   layout:
3858     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3859     layout:
3860       "plot-throughput"
3861
3862 # Container orchestrated
3863 -
3864   type: "plot"
3865   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3866   algorithm: "plot_performance_box"
3867   output-file-type: ".html"
3868   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3869   data:
3870     "plot-ligato-throughput-latency"
3871   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3872   parameters:
3873   - "throughput"
3874   - "parent"
3875   traces:
3876     hoverinfo: "x+y"
3877     boxpoints: "outliers"
3878     whiskerwidth: 0
3879   layout:
3880     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3881     layout:
3882       "plot-throughput"
3883
3884 -
3885   type: "plot"
3886   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3887   algorithm: "plot_performance_box"
3888   output-file-type: ".html"
3889   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3890   data:
3891     "plot-ligato-throughput-latency"
3892   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3893   parameters:
3894   - "throughput"
3895   - "parent"
3896   traces:
3897     hoverinfo: "x+y"
3898     boxpoints: "outliers"
3899     whiskerwidth: 0
3900   layout:
3901     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3902     layout:
3903       "plot-throughput"
3904
3905 -
3906   type: "plot"
3907   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3908   algorithm: "plot_performance_box"
3909   output-file-type: ".html"
3910   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3911   data:
3912     "plot-ligato-throughput-latency"
3913   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3914   parameters:
3915   - "throughput"
3916   - "parent"
3917   traces:
3918     hoverinfo: "x+y"
3919     boxpoints: "outliers"
3920     whiskerwidth: 0
3921   layout:
3922     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3923     layout:
3924       "plot-throughput"
3925
3926 -
3927   type: "plot"
3928   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3929   algorithm: "plot_performance_box"
3930   output-file-type: ".html"
3931   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3932   data:
3933     "plot-ligato-throughput-latency"
3934   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3935   parameters:
3936   - "throughput"
3937   - "parent"
3938   traces:
3939     hoverinfo: "x+y"
3940     boxpoints: "outliers"
3941     whiskerwidth: 0
3942   layout:
3943     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3944     layout:
3945       "plot-throughput"
3946
3947 # Ligato - Latency
3948
3949 # Container memif
3950 -
3951   type: "plot"
3952   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3953   algorithm: "plot_latency_box"
3954   output-file-type: ".html"
3955   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3956   data:
3957     "plot-vpp-throughput-latency"
3958   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3959   parameters:
3960   - "latency"
3961   - "parent"
3962   traces:
3963     boxmean: False
3964   layout:
3965     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3966     layout:
3967       "plot-latency"
3968
3969 -
3970   type: "plot"
3971   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3972   algorithm: "plot_latency_box"
3973   output-file-type: ".html"
3974   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3975   data:
3976     "plot-vpp-throughput-latency"
3977   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3978   parameters:
3979   - "latency"
3980   - "parent"
3981   traces:
3982     boxmean: False
3983   layout:
3984     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3985     layout:
3986       "plot-latency"
3987
3988 # Container orchestrated
3989 -
3990   type: "plot"
3991   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3992   algorithm: "plot_latency_box"
3993   output-file-type: ".html"
3994   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3995   data:
3996     "plot-ligato-throughput-latency"
3997   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3998   parameters:
3999   - "latency"
4000   - "parent"
4001   traces:
4002     boxmean: False
4003   layout:
4004     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4005     layout:
4006       "plot-latency"
4007
4008 -
4009   type: "plot"
4010   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4011   algorithm: "plot_latency_box"
4012   output-file-type: ".html"
4013   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
4014   data:
4015     "plot-ligato-throughput-latency"
4016   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
4017   parameters:
4018   - "latency"
4019   - "parent"
4020   traces:
4021     boxmean: False
4022   layout:
4023     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4024     layout:
4025       "plot-latency"