resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,MRR,VPP]: "{DIR[DTR]}/vpp_mrr_results"
  42     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  43     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  44     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  45     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  46     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  47     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  49
  50     # Detailed test configurations
  51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  53     DIR[DTC,MRR,VPP]: "{DIR[DTC]}/vpp_mrr_configuration"
  54     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  56
  57     # Detailed tests operational data
  58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  59     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  60
  61     # .css patch file to fix tables generated by Sphinx
  62     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  63     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  64
  65   urls:
  66     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  67     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  68     URL[NEXUS]: "https://docs.fd.io/csit"
  69     DIR[NEXUS]: "report/_static/archive"
  70
  71   make-dirs:
  72   # List the directories which are created while preparing the environment.
  73   # All directories MUST be defined in "paths" section.
  74   - "DIR[WORKING,DATA]"
  75   - "DIR[STATIC,VPP]"
  76   - "DIR[STATIC,DPDK]"
  77   - "DIR[STATIC,ARCH]"
  78   - "DIR[BUILD,LATEX]"
  79   - "DIR[WORKING,SRC]"
  80   - "DIR[WORKING,SRC,STATIC]"
  81
  82   remove-dirs:
  83   # List the directories which are deleted while cleaning the environment.
  84   # All directories MUST be defined in "paths" section.
  85   #- "DIR[BUILD,HTML]"
  86   - "DIR[WORKING,DATA]"
  87
  88   build-dirs:
  89   # List the directories where the results (build) is stored.
  90   # All directories MUST be defined in "paths" section.
  91   - "DIR[BUILD,HTML]"
  92   - "DIR[BUILD,LATEX]"
  93
  94 -
  95   type: "configuration"
  96   data-sets:
  97     plot-vpp-http-server-performance:
  98 # TODO: Add the data sources
  99       csit-vpp-perf-1801-all:
 100       - 157
 101       - 158
 102       - 159
 103       - 160
 104       - 161
 105       - 164
 106       - 165
 107       - 166
 108       - 168
 109       - 169
 110       - 170
 111 # TODO: Add the data sources
 112 #    vpp-meltdown-impact:
 113 #      csit-vpp-perf-1707-all:
 114 #      - 9
 115 #      - 10
 116 #      - 13
 117 #      csit-vpp-perf-1710-all:
 118 #      - 11l
 119 #      - 12
 120 #      - 13
 121 # TODO: Add the data sources
 122 #    vpp-spectre-impact:
 123 #      csit-vpp-perf-1707-all:
 124 #      - 9
 125 #      - 10
 126 #      - 13
 127 #      csit-vpp-perf-1710-all:
 128 #      - 11
 129 #      - 12
 130 #      - 13
 131     vpp-performance-changes:
 132       csit-vpp-perf-1710-all:
 133       - 11
 134       - 12
 135       - 13
 136       - 14
 137       - 15
 138       - 16
 139       - 17
 140       - 18
 141       - 19
 142       - 20
 143       csit-vpp-perf-1801-all:
 144       - 124  # sel
 145       - 127  # sel
 146       - 128  # sel
 147       - 141  # sel
 148       - 142  # sel
 149       - 143  # sel
 150       - 145  # sel
 151       - 146  # sel
 152       - 162  # sel
 153       - 163  # sel
 154       - 167  # sel
 155       - 172  # sel acl only
 156       csit-vpp-perf-1804-all:
 157       - 21  # sel
 158       - 22  # sel
 159       - 23  # sel
 160       - 24  # sel
 161       - 27  # sel
 162       - 28  # sel
 163       - 29  # sel
 164       - 30  # sel
 165       - 31  # sel
 166     vpp-performance-changes-mrr:
 167       csit-vpp-perf-check-1801:
 168 #      - 1
 169 #      - 2
 170       - 3
 171       - 4
 172       - 5
 173       - 6
 174       - 7
 175       - 8
 176       - 9
 177       - 11
 178       - 12
 179       - 13
 180       csit-vpp-perf-check-1804:
 181       - 5   # mrr - full
 182       - 6   # mrr - sel
 183       - 7   # mrr - sel
 184       - 8   # mrr - sel
 185       - 9   # mrr - sel
 186       - 10  # mrr - sel
 187       - 11  # mrr - sel
 188       - 12  # mrr - sel
 189       - 13  # mrr - sel
 190     plot-throughput-speedup-analysis:
 191       csit-vpp-perf-1804-all:
 192       - 19  # full
 193       - 20  # full
 194       - 25  # full
 195       - 26  # full
 196       - 21  # sel
 197       - 22  # sel
 198       - 23  # sel
 199       - 24  # sel
 200       - 27  # sel
 201       - 28  # sel
 202       - 29  # sel
 203       - 30  # sel
 204       - 31  # sel
 205 #    performance-improvements:
 206 #      csit-vpp-perf-1707-all:
 207 #      - 9
 208 #      - 10
 209 #      - 13
 210 #      - 14
 211 #      - 15
 212 #      - 16
 213 #      - 17
 214 #      - 18
 215 #      - 19
 216 #      - 21
 217 #      csit-vpp-perf-1710-all:
 218 #      - 11
 219 #      - 12
 220 #      - 13
 221 #      - 14
 222 #      - 15
 223 #      - 16
 224 #      - 17
 225 #      - 18
 226 #      - 19
 227 #      - 20
 228 #      csit-vpp-perf-1801-all:
 229 #      - 124
 230 #      - 127
 231 #      - 128
 232 #      csit-ligato-perf-1710-all:
 233 #      - 5
 234 #      - 7
 235 #      - 8
 236 #      - 9
 237 #      - 10
 238 #      - 11
 239 #      - 12
 240 #      - 13
 241 #      - 16
 242 #      - 17
 243 #      csit-ligato-perf-1801-all:
 244 #      - 16  # sel
 245 #      - 17  # sel
 246 #      - 18  # sel
 247 #      - 19  # sel
 248 #      - 20  # sel
 249 #      - 21  # sel
 250 #      - 22  # sel
 251 #      - 23  # sel
 252 #      - 24  # sel
 253     vpp-perf-results:
 254       csit-vpp-perf-1804-all:
 255       - 19  # full
 256       - 20  # full
 257       - 25  # full
 258       - 26  # full
 259     vpp-func-results:
 260       csit-vpp-functional-1804-ubuntu1604-virl:
 261       - 168
 262     vpp-func-results-centos:
 263       csit-vpp-functional-1804-centos7-virl:
 264       - 175
 265     vpp-mrr-results:
 266       csit-vpp-perf-check-1804:
 267       - 5   # mrr - full
 268     ligato-perf-results:
 269       csit-ligato-perf-1804-all:
 270       - 4  # full
 271     dpdk-perf-results:
 272       csit-dpdk-perf-1804-all:
 273       - 13
 274     hc-func-results:
 275       csit-hc2vpp-verify-func-1804-ubuntu1604:
 276       - 3
 277     nsh-func-results:
 278       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 279       - 7
 280     plot-vpp-throughput-latency:
 281       csit-vpp-perf-1804-all:
 282       - 19  # full
 283       - 20  # full
 284       - 25  # full
 285       - 26  # full
 286       - 21  # sel
 287       - 22  # sel
 288       - 23  # sel
 289       - 24  # sel
 290       - 27  # sel
 291       - 28  # sel
 292       - 29  # sel
 293       - 30  # sel
 294       - 31  # sel
 295     plot-dpdk-throughput-latency:
 296       csit-dpdk-perf-1804-all:
 297       - 4
 298       - 5
 299       - 6
 300       - 7
 301       - 8
 302       - 9
 303       - 10
 304       - 11
 305       - 12
 306       - 13
 307     plot-ligato-throughput-latency:
 308       csit-ligato-perf-1804-all:
 309       - 5   # sel
 310       - 6   # sel
 311       # - 7   # sel
 312       # - 8   # sel
 313       - 9   # sel
 314       # - 10  # sel
 315
 316   plot-layouts:
 317
 318     plot-cps:
 319       xaxis:
 320         autorange: True
 321         autotick: False
 322         fixedrange: False
 323         gridcolor: "rgb(238, 238, 238)"
 324         linecolor: "rgb(238, 238, 238)"
 325         linewidth: 1
 326         showgrid: True
 327         showline: True
 328         showticklabels: True
 329         tickcolor: "rgb(238, 238, 238)"
 330         tickmode: "linear"
 331         title: "Indexed Test Cases"
 332         zeroline: False
 333       yaxis:
 334         gridcolor: "rgb(238, 238, 238)'"
 335         hoverformat: ".4s"
 336         linecolor: "rgb(238, 238, 238)"
 337         linewidth: 1
 338         range: []
 339         rangemode: "tozero"
 340         showgrid: True
 341         showline: True
 342         showticklabels: True
 343         tickcolor: "rgb(238, 238, 238)"
 344         title: "Connections Per Second [cps]"
 345         zeroline: False
 346       boxmode: "group"
 347       boxgroupgap: 0.5
 348       autosize: False
 349       margin:
 350         t: 50
 351         b: 20
 352         l: 50
 353         r: 20
 354       showlegend: True
 355       legend:
 356         orientation: "h"
 357       width: 700
 358       height: 1000
 359
 360     plot-rps:
 361       xaxis:
 362         autorange: True
 363         autotick: False
 364         fixedrange: False
 365         gridcolor: "rgb(238, 238, 238)"
 366         linecolor: "rgb(238, 238, 238)"
 367         linewidth: 1
 368         showgrid: True
 369         showline: True
 370         showticklabels: True
 371         tickcolor: "rgb(238, 238, 238)"
 372         tickmode: "linear"
 373         title: "Indexed Test Cases"
 374         zeroline: False
 375       yaxis:
 376         gridcolor: "rgb(238, 238, 238)'"
 377         hoverformat: ".4s"
 378         linecolor: "rgb(238, 238, 238)"
 379         linewidth: 1
 380         range: []
 381         rangemode: "tozero"
 382         showgrid: True
 383         showline: True
 384         showticklabels: True
 385         tickcolor: "rgb(238, 238, 238)"
 386         title: "Requests Per Second [rps]"
 387         zeroline: False
 388       boxmode: "group"
 389       boxgroupgap: 0.5
 390       autosize: False
 391       margin:
 392         t: 50
 393         b: 20
 394         l: 50
 395         r: 20
 396       showlegend: True
 397       legend:
 398         orientation: "h"
 399       width: 700
 400       height: 1000
 401
 402     plot-throughput:
 403       xaxis:
 404         autorange: True
 405         autotick: False
 406         fixedrange: False
 407         gridcolor: "rgb(238, 238, 238)"
 408         linecolor: "rgb(238, 238, 238)"
 409         linewidth: 1
 410         showgrid: True
 411         showline: True
 412         showticklabels: True
 413         tickcolor: "rgb(238, 238, 238)"
 414         tickmode: "linear"
 415         title: "Indexed Test Cases"
 416         zeroline: False
 417       yaxis:
 418         gridcolor: "rgb(238, 238, 238)'"
 419         hoverformat: ".4s"
 420         linecolor: "rgb(238, 238, 238)"
 421         linewidth: 1
 422         range: []
 423         showgrid: True
 424         showline: True
 425         showticklabels: True
 426         tickcolor: "rgb(238, 238, 238)"
 427         title: "Packets Per Second [pps]"
 428         zeroline: False
 429       boxmode: "group"
 430       boxgroupgap: 0.5
 431       autosize: False
 432       margin:
 433         t: 50
 434         b: 20
 435         l: 50
 436         r: 20
 437       showlegend: True
 438       legend:
 439         orientation: "h"
 440       width: 700
 441       height: 1000
 442
 443     plot-latency:
 444       xaxis:
 445         autorange: True
 446         autotick: False
 447         fixedrange: False
 448         gridcolor: "rgb(238, 238, 238)"
 449         linecolor: "rgb(238, 238, 238)"
 450         linewidth: 1
 451         showgrid: True
 452         showline: True
 453         showticklabels: True
 454         tickcolor: "rgb(238, 238, 238)"
 455         tickmode: "linear"
 456         title: "Indexed Test Cases"
 457         zeroline: False
 458       yaxis:
 459         gridcolor: "rgb(238, 238, 238)'"
 460         hoverformat: ""
 461         linecolor: "rgb(238, 238, 238)"
 462         linewidth: 1
 463         range: []
 464         showgrid: True
 465         showline: True
 466         showticklabels: True
 467         tickcolor: "rgb(238, 238, 238)"
 468         title: "Latency min/avg/max [uSec]"
 469         zeroline: False
 470       boxmode: "group"
 471       boxgroupgap: 0.5
 472       autosize: False
 473       margin:
 474         t: 50
 475         b: 20
 476         l: 50
 477         r: 20
 478       showlegend: True
 479       legend:
 480         orientation: "h"
 481       width: 700
 482       height: 1000
 483
 484     plot-throughput-speedup-analysis:
 485       xaxis:
 486         autorange: True
 487         autotick: False
 488         fixedrange: False
 489         gridcolor: "rgb(238, 238, 238)"
 490         linecolor: "rgb(238, 238, 238)"
 491         linewidth: 1
 492         showgrid: True
 493         showline: True
 494         showticklabels: True
 495         tickcolor: "rgb(238, 238, 238)"
 496         tickmode: "linear"
 497         tickangle: 270
 498         zeroline: False
 499       yaxis:
 500         title: "Throughput speedup factor"
 501         gridcolor: "rgb(238, 238, 238)"
 502         hoverformat: ".4s"
 503         linecolor: "rgb(238, 238, 238)"
 504         linewidth: 1
 505         range: []
 506         showgrid: True
 507         showline: True
 508         showticklabels: True
 509         tickcolor: "rgb(238, 238, 238)"
 510         zeroline: False
 511       legend:
 512         orientation: "h"
 513         xanchor: "center"
 514         yanchor: "top"
 515         x: 0.5
 516         y: 1
 517         bgcolor: "rgba(255, 255, 255, 0)"
 518         bordercolor: "rgba(255, 255, 255, 0)"
 519       barmode: "group"
 520       bargap: 0.15
 521       bargroupgap: 0.1
 522       autosize: False
 523       margin:
 524           't': 50
 525           'b': 200
 526           'l': 50
 527           'r': 20
 528       showlegend: True
 529       width: 700
 530       height: 1000
 531
 532 -
 533   type: "debug"
 534   general:
 535     input-format: "xml"  # zip or xml
 536     extract: "robot-plugin/output.xml"  # Only for zip
 537   builds:
 538     # The files must be in the directory DIR[WORKING,DATA]
 539     csit-vpp-perf-1801-all:
 540     -
 541       build: 1
 542       file: "{DIR[WORKING,DATA]}/output.xml"
 543     -
 544       build: 2
 545       file: "{DIR[WORKING,DATA]}/output.xml"
 546     -
 547       build: 3
 548       file: "{DIR[WORKING,DATA]}/output.xml"
 549     -
 550       build: 4
 551       file: "{DIR[WORKING,DATA]}/output.xml"
 552
 553 -
 554   type: "static"
 555   src-path: "{DIR[RST]}"
 556   dst-path: "{DIR[WORKING,SRC]}"
 557
 558 -
 559   type: "input"  # Ignored in debug mode
 560   general:
 561     file-name: "robot-plugin.zip"
 562     file-format: ".zip"
 563     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 564     extract: "robot-plugin/output.xml"
 565   builds:
 566 #    csit-vpp-perf-1707-all:
 567 #    - 9
 568 #    - 10
 569 #    - 13
 570 #    - 14
 571 #    - 15
 572 #    - 16
 573 #    - 17
 574 #    - 18
 575 #    - 19
 576 #    - 21
 577     csit-vpp-perf-1710-all:
 578     - 11
 579     - 12
 580     - 13
 581     - 14
 582     - 15
 583     - 16
 584     - 17
 585     - 18
 586     - 19
 587     - 20
 588     csit-vpp-perf-1801-all:
 589 #    - 122  # full
 590 #    - 126  # full
 591 #    - 129  # full
 592 #    - 140  # full
 593     - 124  # sel
 594     - 127  # sel
 595     - 128  # sel
 596     - 141  # sel
 597     - 142  # sel
 598     - 143  # sel
 599     - 145  # sel
 600     - 146  # sel
 601     - 157  # wrk
 602     - 158  # wrk
 603     - 159  # wrk
 604     - 160  # wrk
 605     - 161  # wrk
 606     - 162  # sel
 607     - 163  # sel
 608     - 164  # wrk
 609     - 165  # wrk
 610     - 166  # wrk
 611     - 167  # sel
 612     - 168  # wrk
 613     - 169  # wrk
 614     - 170  # wrk
 615     - 172  # sel acl only
 616     csit-vpp-perf-1804-all:
 617     - 19  # full
 618     - 20  # full
 619     - 25  # full
 620     - 26  # full
 621     - 21  # sel
 622     - 22  # sel
 623     - 23  # sel
 624     - 24  # sel
 625     - 27  # sel
 626     - 28  # sel
 627     - 29  # sel
 628     - 30  # sel
 629     - 31  # sel
 630     csit-vpp-perf-check-1801:
 631 #    - 1   # mrr
 632 #    - 2   # mrr
 633     - 3   # mrr
 634     - 4   # mrr
 635     - 5   # mrr
 636     - 6   # mrr
 637     - 7   # mrr
 638     - 8   # mrr
 639     - 9   # mrr
 640     - 11  # mrr
 641     - 12  # mrr
 642     - 13  # mrr
 643     csit-vpp-perf-check-1804:
 644     - 5   # mrr - full
 645     - 6   # mrr - sel
 646     - 7   # mrr - sel
 647     - 8   # mrr - sel
 648     - 9   # mrr - sel
 649     - 10  # mrr - sel
 650     - 11  # mrr - sel
 651     - 12  # mrr - sel
 652     - 13  # mrr - sel
 653 #    csit-ligato-perf-1710-all:
 654 #    - 5
 655 #    - 7
 656 #    - 8
 657 #    - 9
 658 #    - 10
 659 #    - 11
 660 #    - 12
 661 #    - 13
 662 #    - 16
 663 #    - 17
 664 #    csit-ligato-perf-1801-all:
 665 #    - 16  # sel
 666 #    - 17  # sel
 667 #    - 18  # sel
 668 #    - 19  # sel
 669 #    - 20  # sel
 670 #    - 21  # sel
 671 #    - 22  # sel
 672 #    - 23  # sel
 673 #    - 24  # sel
 674 #    - 25  # full
 675     csit-ligato-perf-1804-all:
 676     - 4   # full
 677     - 5   # sel
 678     - 6   # sel
 679 #    - 7   # sel
 680 #    - 8   # sel
 681     - 9   # sel
 682 #    - 10  # sel
 683     csit-dpdk-perf-1804-all:
 684     - 4
 685     - 5
 686     - 6
 687     - 7
 688     - 8
 689     - 9
 690     - 10
 691     - 11
 692     - 12
 693     - 13
 694     csit-vpp-functional-1804-ubuntu1604-virl:
 695     - 168
 696     csit-vpp-functional-1804-centos7-virl:
 697     - 175
 698     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 699     - 7
 700     csit-hc2vpp-verify-func-1804-ubuntu1604:
 701     - 3
 702
 703 -
 704   type: "output"
 705   output: "report"
 706   format:
 707     html:
 708     - full
 709     pdf:
 710     - minimal
 711
 712 ################################################################################
 713 ###                               T A B L E S                                ###
 714 ################################################################################
 715
 716 #-
 717 #  type: "table"
 718 #  title: "Performance Impact of Meltdown Patches"
 719 #  algorithm: "table_performance_comparison"
 720 #  output-file-ext: ".csv"
 721 ## TODO: specify dir
 722 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 723 #  reference:
 724 #    title: "No Meltdown"
 725 ## TODO: specify data sources
 726 #    data:
 727 #      csit-vpp-perf-1707-all:
 728 #      - 9
 729 #      - 10
 730 #      - 13
 731 #  compare:
 732 #    title: "Meltdown Patches Applied"
 733 ## TODO: specify data sources
 734 #    data:
 735 #      csit-vpp-perf-1710-all:
 736 #      - 11
 737 #      - 12
 738 #      - 13
 739 #  data:
 740 #    "vpp-meltdown-impact"
 741 #  filter: "all"
 742 #  parameters:
 743 #  - "name"
 744 #  - "parent"
 745 #  - "throughput"
 746 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 747 #  # to present all tests.
 748 #  nr-of-tests-shown: 20
 749 #
 750 #-
 751 #  type: "table"
 752 #  title: "Performance Impact of Spectre Patches"
 753 #  algorithm: "table_performance_comparison"
 754 #  output-file-ext: ".csv"
 755 ## TODO: specify dir
 756 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 757 #  reference:
 758 #    title: "No Spectre"
 759 ## TODO: specify data sources
 760 #    data:
 761 #      csit-vpp-perf-1707-all:
 762 #      - 9
 763 #      - 10
 764 #      - 13
 765 #  compare:
 766 #    title: "Spectre Patches Applied"
 767 ## TODO: specify data sources
 768 #    data:
 769 #      csit-vpp-perf-1710-all:
 770 #      - 11
 771 #      - 12
 772 #      - 13
 773 #  data:
 774 #    "vpp-spectre-impact"
 775 #  filter: "all"
 776 #  parameters:
 777 #  - "name"
 778 #  - "parent"
 779 #  - "throughput"
 780 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 781 #  # to present all tests.
 782 #  nr-of-tests-shown: 20
 783
 784 -
 785   type: "table"
 786   title: "VPP Performance Changes"
 787   algorithm: "table_performance_comparison"
 788   output-file-ext: ".csv"
 789   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 790   history:
 791     -
 792       title: "rls1710"
 793       data:
 794         csit-vpp-perf-1710-all:
 795         - 11
 796         - 12
 797         - 13
 798         - 14
 799         - 15
 800         - 16
 801         - 17
 802         - 18
 803         - 19
 804         - 20
 805   reference:
 806     title: "rls1801"
 807     data:
 808       csit-vpp-perf-1801-all:
 809       - 124  # sel
 810       - 127  # sel
 811       - 128  # sel
 812       - 141  # sel
 813       - 142  # sel
 814       - 143  # sel
 815       - 145  # sel
 816       - 146  # sel
 817       - 162  # sel
 818       - 163  # sel
 819       - 167  # sel
 820       - 172  # sel acl only
 821   compare:
 822     title: "rls1804"
 823     data:
 824       csit-vpp-perf-1804-all:
 825       - 21  # sel
 826       - 22  # sel
 827       - 23  # sel
 828       - 24  # sel
 829       - 27  # sel
 830       - 28  # sel
 831       - 29  # sel
 832       - 30  # sel
 833       - 31  # sel
 834   data: "vpp-performance-changes"
 835   filter: "all"
 836   parameters:
 837   - "name"
 838   - "parent"
 839   - "throughput"
 840   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 841   # to present all tests.
 842   nr-of-tests-shown: 20
 843   outlier-const: 1.5
 844
 845 -
 846   type: "table"
 847   title: "VPP Performance Changes - MRR"
 848   algorithm: "table_performance_comparison_mrr"
 849   output-file-ext: ".csv"
 850   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 851   reference:
 852     title: "Release 1801"
 853     data:
 854       csit-vpp-perf-check-1801:
 855 #      - 1
 856 #      - 2
 857       - 3
 858       - 4
 859       - 5
 860       - 6
 861       - 7
 862       - 8
 863       - 9
 864       - 11
 865       - 12
 866       - 13
 867   compare:
 868     title: "Release 1804"
 869     data:
 870       csit-vpp-perf-check-1804:
 871       - 5   # mrr - full
 872       - 6   # mrr - sel
 873       - 7   # mrr - sel
 874       - 8   # mrr - sel
 875       - 9   # mrr - sel
 876       - 10  # mrr - sel
 877       - 11  # mrr - sel
 878       - 12  # mrr - sel
 879       - 13  # mrr - sel
 880   data: "vpp-performance-changes-mrr"
 881   filter: "all"
 882   parameters:
 883   - "name"
 884   - "parent"
 885   - "result"
 886   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 887   # to present all tests.
 888   nr-of-tests-shown: 20
 889   outlier-const: 1.5
 890
 891 #-
 892 #  type: "table"
 893 #  title: "Performance improvements"
 894 #  algorithm: "table_performance_improvements"
 895 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 896 #  output-file-ext: ".csv"
 897 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 898 #  columns:
 899 #  -
 900 #    title: "Test Name"
 901 #    data: "template 1"
 902 #  -
 903 #    title: "16.09 mean [Mpps]"
 904 #    data: "template 2"
 905 #  -
 906 #    title: "17.01 mean [Mpps]"
 907 #    data: "template 3"
 908 #  -
 909 #    title: "17.04 mean [Mpps]"
 910 #    data: "template 4"
 911 #  -
 912 #    title: "17.07 mean [Mpps]"
 913 #    data: "data csit-vpp-perf-1707-all mean"
 914 #  -
 915 #    title: "17.10 mean [Mpps]"
 916 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 917 #  -
 918 #    title: "18.01 mean [Mpps]"
 919 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 920 #  -
 921 #    title: "18.01 stdev [Mpps]"
 922 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 923 #  -
 924 #    title: "17.10 to 18.01 change [%]"
 925 #    data: "operation relative_change 5 6"
 926 #  rows: "generated"
 927 #  data:
 928 #    "performance-improvements"
 929 #  filter: "template"
 930 #  parameters:
 931 #  - "throughput"
 932
 933 -
 934   type: "table"
 935   title: "Detailed Test Results - VPP Performance Results"
 936   algorithm: "table_merged_details"
 937   output-file-ext: ".csv"
 938   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 939   columns:
 940   -
 941     title: "Name"
 942     data: "data name"
 943   -
 944     title: "Documentation"
 945     data: "data doc"
 946   -
 947     title: "Status"
 948     data: "data msg"
 949   rows: "generated"
 950   data:
 951     "vpp-perf-results"
 952   filter: "not 'NDRCHK' and not 'PDRCHK'"
 953   parameters:
 954   - "name"
 955   - "parent"
 956   - "doc"
 957   - "msg"
 958
 959 -
 960   type: "table"
 961   title: "Test configuration - VPP Performance Test Configs"
 962   algorithm: "table_merged_details"
 963   output-file-ext: ".csv"
 964   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 965   columns:
 966   -
 967     title: "Name"
 968     data: "data name"
 969   -
 970     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 971     data: "data vat-history"
 972   rows: "generated"
 973   data:
 974     "vpp-perf-results"
 975   filter: "not 'NDRCHK' and not 'PDRCHK'"
 976   parameters:
 977   - "parent"
 978   - "name"
 979   - "vat-history"
 980
 981 -
 982   type: "table"
 983   title: "Test Operational Data - VPP Performance Operational Data"
 984   algorithm: "table_merged_details"
 985   output-file-ext: ".csv"
 986   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 987   columns:
 988   -
 989     title: "Name"
 990     data: "data name"
 991   -
 992     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 993     data: "data show-run"
 994   rows: "generated"
 995   data:
 996     "vpp-perf-results"
 997   filter: "not 'NDRCHK' and not 'PDRCHK'"
 998   parameters:
 999   - "parent"
1000   - "name"
1001   - "show-run"
1002
1003 -
1004   type: "table"
1005   title: "Detailed Test Results - VPP MRR Results"
1006   algorithm: "table_details"
1007   output-file-ext: ".csv"
1008   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1009   columns:
1010   -
1011     title: "Name"
1012     data: "data name"
1013   -
1014     title: "Documentation"
1015     data: "data doc"
1016   -
1017     title: "Status"
1018     data: "data msg"
1019   rows: "generated"
1020   data:
1021     "vpp-mrr-results"
1022   filter: "'MRR'"
1023   parameters:
1024   - "name"
1025   - "parent"
1026   - "doc"
1027   - "msg"
1028
1029 -
1030   type: "table"
1031   title: "Test configuration - VPP MRR Test Configs"
1032   algorithm: "table_details"
1033   output-file-ext: ".csv"
1034   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_test_configuration"
1035   columns:
1036   -
1037     title: "Name"
1038     data: "data name"
1039   -
1040     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1041     data: "data vat-history"
1042   rows: "generated"
1043   data:
1044     "vpp-mrr-results"
1045   filter: "'MRR'"
1046   parameters:
1047   - "parent"
1048   - "name"
1049   - "vat-history"
1050
1051 -
1052   type: "table"
1053   title: "Detailed Test Results - VPP Functional Results"
1054   algorithm: "table_details"
1055   output-file-ext: ".csv"
1056   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1057   columns:
1058   -
1059     title: "Name"
1060     data: "data name"
1061   -
1062     title: "Documentation"
1063     data: "data doc"
1064   -
1065     title: "Status"
1066     data: "data status"
1067   rows: "generated"
1068   data:
1069     "vpp-func-results"
1070   filter: "all"
1071   parameters:
1072   - "name"
1073   - "parent"
1074   - "doc"
1075   - "status"
1076
1077 -
1078   type: "table"
1079   title: "Detailed Test Results - VPP Functional Results - CentOS"
1080   algorithm: "table_details"
1081   output-file-ext: ".csv"
1082   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1083   columns:
1084   -
1085     title: "Name"
1086     data: "data name"
1087   -
1088     title: "Documentation"
1089     data: "data doc"
1090   -
1091     title: "Status"
1092     data: "data status"
1093   rows: "generated"
1094   data:
1095     "vpp-func-results-centos"
1096   filter: "all"
1097   parameters:
1098   - "name"
1099   - "parent"
1100   - "doc"
1101   - "status"
1102
1103 -
1104   type: "table"
1105   title: "Test configuration - VPP Functional Test Configs"
1106   algorithm: "table_details"
1107   output-file-ext: ".csv"
1108   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1109   columns:
1110   -
1111     title: "Name"
1112     data: "data name"
1113   -
1114     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1115     data: "data vat-history"
1116   rows: "generated"
1117   data:
1118     "vpp-func-results"
1119   filter: "all"
1120   parameters:
1121   - "parent"
1122   - "name"
1123   - "vat-history"
1124
1125 -
1126   type: "table"
1127   title: "Test configuration - VPP Functional Test Configs - CentOS"
1128   algorithm: "table_details"
1129   output-file-ext: ".csv"
1130   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1131   columns:
1132   -
1133     title: "Name"
1134     data: "data name"
1135   -
1136     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1137     data: "data vat-history"
1138   rows: "generated"
1139   data:
1140     "vpp-func-results-centos"
1141   filter: "all"
1142   parameters:
1143   - "parent"
1144   - "name"
1145   - "vat-history"
1146
1147 -
1148   type: "table"
1149   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1150   algorithm: "table_details"
1151   output-file-ext: ".csv"
1152   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1153   columns:
1154   -
1155     title: "Name"
1156     data: "data name"
1157   -
1158     title: "Documentation"
1159     data: "data doc"
1160   -
1161     title: "Status"
1162     data: "data msg"
1163   rows: "generated"
1164   data:
1165     "ligato-perf-results"
1166   filter: "all"
1167   parameters:
1168   - "name"
1169   - "parent"
1170   - "doc"
1171   - "msg"
1172
1173 -
1174   type: "table"
1175   title: "Detailed Test Results - DPDK Performance Results"
1176   algorithm: "table_details"
1177   output-file-ext: ".csv"
1178   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1179   columns:
1180   -
1181     title: "Name"
1182     data: "data name"
1183   -
1184     title: "Documentation"
1185     data: "data doc"
1186   -
1187     title: "Status"
1188     data: "data msg"
1189   rows: "generated"
1190   data:
1191     "dpdk-perf-results"
1192   filter: "all"
1193   parameters:
1194   - "name"
1195   - "parent"
1196   - "doc"
1197   - "msg"
1198
1199 -
1200   type: "table"
1201   title: "Detailed Test Results - Honeycomb Functional Results"
1202   algorithm: "table_details"
1203   output-file-ext: ".csv"
1204   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1205   columns:
1206   -
1207     title: "Name"
1208     data: "data name"
1209   -
1210     title: "Documentation"
1211     data: "data doc"
1212   -
1213     title: "Status"
1214     data: "data status"
1215   rows: "generated"
1216   data:
1217     "hc-func-results"
1218   filter: "all"
1219   parameters:
1220   - "name"
1221   - "parent"
1222   - "doc"
1223   - "status"
1224
1225 -
1226   type: "table"
1227   title: "Detailed Test Results - NSH SFC Functional Results"
1228   algorithm: "table_details"
1229   output-file-ext: ".csv"
1230   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1231   columns:
1232   -
1233     title: "Name"
1234     data: "data name"
1235   -
1236     title: "Documentation"
1237     data: "data doc"
1238   -
1239     title: "Status"
1240     data: "data status"
1241   rows: "generated"
1242   data:
1243     "nsh-func-results"
1244   filter: "all"
1245   parameters:
1246   - "name"
1247   - "parent"
1248   - "doc"
1249   - "status"
1250
1251 ################################################################################
1252 ###                                F I L E S                                 ###
1253 ################################################################################
1254
1255 -
1256   type: "file"
1257   title: "VPP Performance Results"
1258   algorithm: "file_merged_test_results"
1259   output-file-ext: ".rst"
1260   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1261   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1262   dir-tables: "{DIR[DTR,PERF,VPP]}"
1263   data:
1264     "vpp-perf-results"
1265   filter: "not 'NDRCHK' and not 'PDRCHK'"
1266   parameters:
1267   - "name"
1268   - "doc"
1269   - "level"
1270   - "parent"
1271   data-start-level: 3  # 0, 1, 2, ...
1272   chapters-start-level: 2  # 0, 1, 2, ...
1273
1274 -
1275   type: "file"
1276   title: "VPP Performance Configuration"
1277   algorithm: "file_merged_test_results"
1278   output-file-ext: ".rst"
1279   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1280   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1281   dir-tables: "{DIR[DTC,PERF,VPP]}"
1282   data:
1283     "vpp-perf-results"
1284   filter: "not 'NDRCHK' and not 'PDRCHK'"
1285   parameters:
1286   - "name"
1287   - "doc"
1288   - "level"
1289   - "parent"
1290   data-start-level: 3  # 0, 1, 2, ...
1291   chapters-start-level: 2  # 0, 1, 2, ...
1292
1293 -
1294   type: "file"
1295   title: "VPP Performance Operational Data"
1296   algorithm: "file_merged_test_results"
1297   output-file-ext: ".rst"
1298   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1299   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1300   dir-tables: "{DIR[DTO,PERF,VPP]}"
1301   data:
1302     "vpp-perf-results"
1303   filter: "not 'NDRCHK' and not 'PDRCHK'"
1304   parameters:
1305   - "name"
1306   - "doc"
1307   - "level"
1308   - "parent"
1309   data-start-level: 3  # 0, 1, 2, ...
1310   chapters-start-level: 2  # 0, 1, 2, ...
1311
1312 -
1313   type: "file"
1314   title: "VPP MRR Results"
1315   algorithm: "file_test_results"
1316   output-file-ext: ".rst"
1317   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1318   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1319   dir-tables: "{DIR[DTR,MRR,VPP]}"
1320   data:
1321     "vpp-mrr-results"
1322   filter: "'MRR'"
1323   parameters:
1324   - "name"
1325   - "doc"
1326   - "level"
1327   - "parent"
1328   data-start-level: 2  # 0, 1, 2, ...
1329   chapters-start-level: 2  # 0, 1, 2, ...
1330
1331 -
1332   type: "file"
1333   title: "VPP MRR Configuration"
1334   algorithm: "file_test_results"
1335   output-file-ext: ".rst"
1336   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_configuration"
1337   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1338   dir-tables: "{DIR[DTC,MRR,VPP]}"
1339   data:
1340     "vpp-mrr-results"
1341   filter: "'MRR'"
1342   parameters:
1343   - "name"
1344   - "doc"
1345   - "level"
1346   - "parent"
1347   data-start-level: 2  # 0, 1, 2, ...
1348   chapters-start-level: 2  # 0, 1, 2, ...
1349
1350 -
1351   type: "file"
1352   title: "VPP Functional Results"
1353   algorithm: "file_test_results"
1354   output-file-ext: ".rst"
1355   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1356   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1357   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1358   data:
1359     "vpp-func-results"
1360   filter: "all"
1361   parameters:
1362   - "name"
1363   - "doc"
1364   - "level"
1365   data-start-level: 3  # 0, 1, 2, ...
1366   chapters-start-level: 2  # 0, 1, 2, ...
1367
1368 -
1369   type: "file"
1370   title: "VPP Functional Results - CentOS"
1371   algorithm: "file_test_results"
1372   output-file-ext: ".rst"
1373   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1374   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1375   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1376   data:
1377     "vpp-func-results-centos"
1378   filter: "all"
1379   parameters:
1380   - "name"
1381   - "doc"
1382   - "level"
1383   data-start-level: 3  # 0, 1, 2, ...
1384   chapters-start-level: 2  # 0, 1, 2, ...
1385
1386 -
1387   type: "file"
1388   title: "VPP Functional Configuration"
1389   algorithm: "file_test_results"
1390   output-file-ext: ".rst"
1391   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1392   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1393   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1394   data:
1395     "vpp-func-results"
1396   filter: "all"
1397   parameters:
1398   - "name"
1399   - "doc"
1400   - "level"
1401   data-start-level: 3  # 0, 1, 2, ...
1402   chapters-start-level: 2  # 0, 1, 2, ...
1403
1404 -
1405   type: "file"
1406   title: "VPP Functional Configuration - CentOS"
1407   algorithm: "file_test_results"
1408   output-file-ext: ".rst"
1409   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1410   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1411   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1412   data:
1413     "vpp-func-results-centos"
1414   filter: "all"
1415   parameters:
1416   - "name"
1417   - "doc"
1418   - "level"
1419   data-start-level: 3  # 0, 1, 2, ...
1420   chapters-start-level: 2  # 0, 1, 2, ...
1421
1422 -
1423   type: "file"
1424   title: "Container Orchestrated Performance Results"
1425   algorithm: "file_test_results"
1426   output-file-ext: ".rst"
1427   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1428   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1429   dir-tables: "{DIR[DTR,PERF,COT]}"
1430   data:
1431     "ligato-perf-results"
1432   filter: "all"
1433   parameters:
1434   - "name"
1435   - "doc"
1436   - "level"
1437   data-start-level: 2  # 0, 1, 2, ...
1438   chapters-start-level: 2  # 0, 1, 2, ...
1439
1440 -
1441   type: "file"
1442   title: "DPDK Performance Results"
1443   algorithm: "file_test_results"
1444   output-file-ext: ".rst"
1445   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1446   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1447   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1448   data:
1449     "dpdk-perf-results"
1450   filter: "all"
1451   parameters:
1452   - "name"
1453   - "doc"
1454   - "level"
1455   chapters:
1456   - "suites"
1457   data-start-level: 2  # 0, 1, 2, ...
1458   chapters-start-level: 2  # 0, 1, 2, ...
1459
1460 -
1461   type: "file"
1462   title: "Honeycomb Functional Results"
1463   algorithm: "file_test_results"
1464   output-file-ext: ".rst"
1465   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1466   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1467   dir-tables: "{DIR[DTR,FUNC,HC]}"
1468   data:
1469     "hc-func-results"
1470   filter: "all"
1471   parameters:
1472   - "name"
1473   - "doc"
1474   - "level"
1475   chapters:
1476   - "suites"
1477   data-start-level: 3  # 0, 1, 2, ...
1478   chapters-start-level: 2  # 0, 1, 2, ...
1479
1480 -
1481   type: "file"
1482   title: "NSH SFC Functional Results"
1483   algorithm: "file_test_results"
1484   output-file-ext: ".rst"
1485   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1486   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1487   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1488   data:
1489     "nsh-func-results"
1490   filter: "all"
1491   parameters:
1492   - "name"
1493   - "doc"
1494   - "level"
1495   chapters:
1496   - "suites"
1497   data-start-level: 2  # 0, 1, 2, ...
1498   chapters-start-level: 2  # 0, 1, 2, ...
1499
1500 ################################################################################
1501 ###                                P L O T S                                 ###
1502 ################################################################################
1503
1504 # Plots VPP HTTP Server Performance
1505 -
1506   type: "plot"
1507   title: "VPP HTTP Server Performance"
1508   algorithm: "plot_http_server_performance_box"
1509   output-file-type: ".html"
1510   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1511   data:
1512     "plot-vpp-http-server-performance"
1513   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1514   # each tag is enclosed with ' (apostrophe).
1515   filter: "'HTTP' and 'TCP_CPS'"
1516   parameters:
1517   - "result"
1518   - "name"
1519   traces:
1520     hoverinfo: "x+y"
1521     boxpoints: "outliers"
1522     whiskerwidth: 0
1523   layout:
1524     title: "VPP HTTP Server Performance"
1525     layout:
1526       "plot-cps"
1527
1528 -
1529   type: "plot"
1530   title: "VPP HTTP Server Performance"
1531   algorithm: "plot_http_server_performance_box"
1532   output-file-type: ".html"
1533   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1534   data:
1535     "plot-vpp-http-server-performance"
1536   filter: "'HTTP' and 'TCP_RPS'"
1537   parameters:
1538   - "result"
1539   - "name"
1540   traces:
1541     hoverinfo: "x+y"
1542     boxpoints: "outliers"
1543     whiskerwidth: 0
1544   layout:
1545     title: "VPP HTTP Server Performance"
1546     layout:
1547       "plot-rps"
1548
1549 # Plot Throughput Speedup Analysis
1550
1551 # L2 - 10ge2p1x520 - NDR
1552 -
1553   type: "plot"
1554   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1555   algorithm: "plot_throughput_speedup_analysis"
1556   output-file-type: ".html"
1557   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1558   data:
1559     "plot-throughput-speedup-analysis"
1560   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1561   parameters:
1562   - "throughput"
1563   - "parent"
1564   - "tags"
1565   layout:
1566     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1567     layout:
1568       "plot-throughput-speedup-analysis"
1569
1570 # L2 - 40ge2p1xl710 - NDR
1571 -
1572   type: "plot"
1573   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1574   algorithm: "plot_throughput_speedup_analysis"
1575   output-file-type: ".html"
1576   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1577   data:
1578     "plot-throughput-speedup-analysis"
1579   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1580   parameters:
1581   - "throughput"
1582   - "parent"
1583   - "tags"
1584   layout:
1585     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1586     layout:
1587       "plot-throughput-speedup-analysis"
1588
1589 # L2 - 10ge2p1x520 - PDR
1590 -
1591   type: "plot"
1592   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1593   algorithm: "plot_throughput_speedup_analysis"
1594   output-file-type: ".html"
1595   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1596   data:
1597     "plot-throughput-speedup-analysis"
1598   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1599   parameters:
1600   - "throughput"
1601   - "parent"
1602   - "tags"
1603   layout:
1604     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1605     layout:
1606       "plot-throughput-speedup-analysis"
1607
1608 # IPv4 - 10ge2p1x520 - NDR
1609 -
1610   type: "plot"
1611   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1612   algorithm: "plot_throughput_speedup_analysis"
1613   output-file-type: ".html"
1614   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1615   data:
1616     "plot-throughput-speedup-analysis"
1617   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1618   parameters:
1619   - "throughput"
1620   - "parent"
1621   - "tags"
1622   layout:
1623     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1624     layout:
1625       "plot-throughput-speedup-analysis"
1626
1627 # IPv4 - 40ge2p1xl710 - NDR
1628 -
1629   type: "plot"
1630   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1631   algorithm: "plot_throughput_speedup_analysis"
1632   output-file-type: ".html"
1633   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1634   data:
1635     "plot-throughput-speedup-analysis"
1636   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1637   parameters:
1638   - "throughput"
1639   - "parent"
1640   - "tags"
1641   layout:
1642     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1643     layout:
1644       "plot-throughput-speedup-analysis"
1645
1646 # IPv4 - 10ge2p1x520 - PDR
1647 -
1648   type: "plot"
1649   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1650   algorithm: "plot_throughput_speedup_analysis"
1651   output-file-type: ".html"
1652   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1653   data:
1654     "plot-throughput-speedup-analysis"
1655   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1656   parameters:
1657   - "throughput"
1658   - "parent"
1659   - "tags"
1660   layout:
1661     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1662     layout:
1663       "plot-throughput-speedup-analysis"
1664
1665 # IPv6 - 10ge2p1x520 - NDR
1666 -
1667   type: "plot"
1668   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1669   algorithm: "plot_throughput_speedup_analysis"
1670   output-file-type: ".html"
1671   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1672   data:
1673     "plot-throughput-speedup-analysis"
1674   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1675   parameters:
1676   - "throughput"
1677   - "parent"
1678   - "tags"
1679   layout:
1680     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1681     layout:
1682       "plot-throughput-speedup-analysis"
1683
1684 # IPv6 - 40ge2p1xl710 - NDR
1685 -
1686   type: "plot"
1687   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1688   algorithm: "plot_throughput_speedup_analysis"
1689   output-file-type: ".html"
1690   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1691   data:
1692     "plot-throughput-speedup-analysis"
1693   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1694   parameters:
1695   - "throughput"
1696   - "parent"
1697   - "tags"
1698   layout:
1699     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1700     layout:
1701       "plot-throughput-speedup-analysis"
1702
1703 # IPv6 - 10ge2p1x520 - PDR
1704 -
1705   type: "plot"
1706   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1707   algorithm: "plot_throughput_speedup_analysis"
1708   output-file-type: ".html"
1709   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1710   data:
1711     "plot-throughput-speedup-analysis"
1712   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1713   parameters:
1714   - "throughput"
1715   - "parent"
1716   - "tags"
1717   layout:
1718     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1719     layout:
1720       "plot-throughput-speedup-analysis"
1721
1722 # Plot packets per second
1723
1724 # VPP L2 sel1
1725 -
1726   type: "plot"
1727   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1728   algorithm: "plot_performance_box"
1729   output-file-type: ".html"
1730   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1731   data:
1732     "plot-vpp-throughput-latency"
1733   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1734   # each tag is enclosed with ' (apostrophe).
1735   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1736   parameters:
1737   - "throughput"
1738   - "parent"
1739   traces:
1740     hoverinfo: "x+y"
1741     boxpoints: "outliers"
1742     whiskerwidth: 0
1743   layout:
1744     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1745     layout:
1746       "plot-throughput"
1747
1748 -
1749   type: "plot"
1750   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1751   algorithm: "plot_performance_box"
1752   output-file-type: ".html"
1753   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1754   data:
1755     "plot-vpp-throughput-latency"
1756   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1757   parameters:
1758   - "throughput"
1759   - "parent"
1760   traces:
1761     hoverinfo: "x+y"
1762     boxpoints: "outliers"
1763     whiskerwidth: 0
1764   layout:
1765     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1766     layout:
1767       "plot-throughput"
1768
1769 -
1770   type: "plot"
1771   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1772   algorithm: "plot_performance_box"
1773   output-file-type: ".html"
1774   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1775   data:
1776     "plot-vpp-throughput-latency"
1777   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1778   parameters:
1779   - "throughput"
1780   - "parent"
1781   traces:
1782     hoverinfo: "x+y"
1783     boxpoints: "outliers"
1784     whiskerwidth: 0
1785   layout:
1786     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1787     layout:
1788       "plot-throughput"
1789
1790 -
1791   type: "plot"
1792   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1793   algorithm: "plot_performance_box"
1794   output-file-type: ".html"
1795   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1796   data:
1797     "plot-vpp-throughput-latency"
1798   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1799   parameters:
1800   - "throughput"
1801   - "parent"
1802   traces:
1803     hoverinfo: "x+y"
1804     boxpoints: "outliers"
1805     whiskerwidth: 0
1806   layout:
1807     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1808     layout:
1809       "plot-throughput"
1810
1811 # VPP L2 sel2
1812 -
1813   type: "plot"
1814   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1815   algorithm: "plot_performance_box"
1816   output-file-type: ".html"
1817   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1818   data:
1819     "plot-vpp-throughput-latency"
1820   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1821   parameters:
1822   - "throughput"
1823   - "parent"
1824   traces:
1825     hoverinfo: "x+y"
1826     boxpoints: "outliers"
1827     whiskerwidth: 0
1828   layout:
1829     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1830     layout:
1831       "plot-throughput"
1832
1833 -
1834   type: "plot"
1835   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1836   algorithm: "plot_performance_box"
1837   output-file-type: ".html"
1838   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1839   data:
1840     "plot-vpp-throughput-latency"
1841   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1842   parameters:
1843   - "throughput"
1844   - "parent"
1845   traces:
1846     hoverinfo: "x+y"
1847     boxpoints: "outliers"
1848     whiskerwidth: 0
1849   layout:
1850     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1851     layout:
1852       "plot-throughput"
1853
1854 -
1855   type: "plot"
1856   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1857   algorithm: "plot_performance_box"
1858   output-file-type: ".html"
1859   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1860   data:
1861     "plot-vpp-throughput-latency"
1862   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1863   parameters:
1864   - "throughput"
1865   - "parent"
1866   traces:
1867     hoverinfo: "x+y"
1868     boxpoints: "outliers"
1869     whiskerwidth: 0
1870   layout:
1871     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1872     layout:
1873       "plot-throughput"
1874
1875 -
1876   type: "plot"
1877   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1878   algorithm: "plot_performance_box"
1879   output-file-type: ".html"
1880   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1881   data:
1882     "plot-vpp-throughput-latency"
1883   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1884   parameters:
1885   - "throughput"
1886   - "parent"
1887   traces:
1888     hoverinfo: "x+y"
1889     boxpoints: "outliers"
1890     whiskerwidth: 0
1891   layout:
1892     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1893     layout:
1894       "plot-throughput"
1895
1896 # VPP IP4
1897 -
1898   type: "plot"
1899   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1900   algorithm: "plot_performance_box"
1901   output-file-type: ".html"
1902   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1903   data:
1904     "plot-vpp-throughput-latency"
1905   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1906   parameters:
1907   - "throughput"
1908   - "parent"
1909   traces:
1910     hoverinfo: "x+y"
1911     boxpoints: "outliers"
1912     whiskerwidth: 0
1913   layout:
1914     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1915     layout:
1916       "plot-throughput"
1917
1918 -
1919   type: "plot"
1920   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1921   algorithm: "plot_performance_box"
1922   output-file-type: ".html"
1923   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1924   data:
1925     "plot-vpp-throughput-latency"
1926   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1927   parameters:
1928   - "throughput"
1929   - "parent"
1930   traces:
1931     hoverinfo: "x+y"
1932     boxpoints: "outliers"
1933     whiskerwidth: 0
1934   layout:
1935     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1936     layout:
1937       "plot-throughput"
1938
1939 -
1940   type: "plot"
1941   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1942   algorithm: "plot_performance_box"
1943   output-file-type: ".html"
1944   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1945   data:
1946     "plot-vpp-throughput-latency"
1947   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1948   parameters:
1949   - "throughput"
1950   - "parent"
1951   traces:
1952     hoverinfo: "x+y"
1953     boxpoints: "outliers"
1954     whiskerwidth: 0
1955   layout:
1956     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1957     layout:
1958       "plot-throughput"
1959
1960 -
1961   type: "plot"
1962   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1963   algorithm: "plot_performance_box"
1964   output-file-type: ".html"
1965   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1966   data:
1967     "plot-vpp-throughput-latency"
1968   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1969   parameters:
1970   - "throughput"
1971   - "parent"
1972   traces:
1973     hoverinfo: "x+y"
1974     boxpoints: "outliers"
1975     whiskerwidth: 0
1976   layout:
1977     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1978     layout:
1979       "plot-throughput"
1980
1981 # VPP IP6
1982 -
1983   type: "plot"
1984   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1985   algorithm: "plot_performance_box"
1986   output-file-type: ".html"
1987   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1988   data:
1989     "plot-vpp-throughput-latency"
1990   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1991   parameters:
1992   - "throughput"
1993   - "parent"
1994   traces:
1995     hoverinfo: "x+y"
1996     boxpoints: "outliers"
1997     whiskerwidth: 0
1998   layout:
1999     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2000     layout:
2001       "plot-throughput"
2002
2003 -
2004   type: "plot"
2005   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2006   algorithm: "plot_performance_box"
2007   output-file-type: ".html"
2008   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
2009   data:
2010     "plot-vpp-throughput-latency"
2011   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2012   parameters:
2013   - "throughput"
2014   - "parent"
2015   traces:
2016     hoverinfo: "x+y"
2017     boxpoints: "outliers"
2018     whiskerwidth: 0
2019   layout:
2020     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2021     layout:
2022       "plot-throughput"
2023
2024 -
2025   type: "plot"
2026   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2027   algorithm: "plot_performance_box"
2028   output-file-type: ".html"
2029   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
2030   data:
2031     "plot-vpp-throughput-latency"
2032   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2033   parameters:
2034   - "throughput"
2035   - "parent"
2036   traces:
2037     hoverinfo: "x+y"
2038     boxpoints: "outliers"
2039     whiskerwidth: 0
2040   layout:
2041     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2042     layout:
2043       "plot-throughput"
2044
2045 -
2046   type: "plot"
2047   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2048   algorithm: "plot_performance_box"
2049   output-file-type: ".html"
2050   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
2051   data:
2052     "plot-vpp-throughput-latency"
2053   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2054   parameters:
2055   - "throughput"
2056   - "parent"
2057   traces:
2058     hoverinfo: "x+y"
2059     boxpoints: "outliers"
2060     whiskerwidth: 0
2061   layout:
2062     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2063     layout:
2064       "plot-throughput"
2065
2066 # VPP IP4_overlay
2067 -
2068   type: "plot"
2069   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2070   algorithm: "plot_performance_box"
2071   output-file-type: ".html"
2072   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
2073   data:
2074     "plot-vpp-throughput-latency"
2075   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2076   parameters:
2077   - "throughput"
2078   - "parent"
2079   traces:
2080     hoverinfo: "x+y"
2081     boxpoints: "outliers"
2082     whiskerwidth: 0
2083   layout:
2084     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2085     layout:
2086       "plot-throughput"
2087
2088 -
2089   type: "plot"
2090   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2091   algorithm: "plot_performance_box"
2092   output-file-type: ".html"
2093   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
2094   data:
2095     "plot-vpp-throughput-latency"
2096   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2097   parameters:
2098   - "throughput"
2099   - "parent"
2100   traces:
2101     hoverinfo: "x+y"
2102     boxpoints: "outliers"
2103     whiskerwidth: 0
2104   layout:
2105     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2106     layout:
2107       "plot-throughput"
2108
2109 -
2110   type: "plot"
2111   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2112   algorithm: "plot_performance_box"
2113   output-file-type: ".html"
2114   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2115   data:
2116     "plot-vpp-throughput-latency"
2117   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2118   parameters:
2119   - "throughput"
2120   - "parent"
2121   traces:
2122     hoverinfo: "x+y"
2123     boxpoints: "outliers"
2124     whiskerwidth: 0
2125   layout:
2126     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2127     layout:
2128       "plot-throughput"
2129
2130 -
2131   type: "plot"
2132   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2133   algorithm: "plot_performance_box"
2134   output-file-type: ".html"
2135   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2136   data:
2137     "plot-vpp-throughput-latency"
2138   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2139   parameters:
2140   - "throughput"
2141   - "parent"
2142   traces:
2143     hoverinfo: "x+y"
2144     boxpoints: "outliers"
2145     whiskerwidth: 0
2146   layout:
2147     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2148     layout:
2149       "plot-throughput"
2150
2151 # VPP IP6_overlay
2152 -
2153   type: "plot"
2154   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2155   algorithm: "plot_performance_box"
2156   output-file-type: ".html"
2157   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2158   data:
2159     "plot-vpp-throughput-latency"
2160   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2161   parameters:
2162   - "throughput"
2163   - "parent"
2164   traces:
2165     hoverinfo: "x+y"
2166     boxpoints: "outliers"
2167     whiskerwidth: 0
2168   layout:
2169     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2170     xaxis:
2171       autorange: True
2172       autotick: False
2173       fixedrange: False
2174       gridcolor: "rgb(238, 238, 238)"
2175       linecolor: "rgb(238, 238, 238)"
2176       linewidth: 1
2177       showgrid: True
2178       showline: True
2179       showticklabels: True
2180       tickcolor: "rgb(238, 238, 238)"
2181       tickmode: "linear"
2182       title: "Indexed Test Cases"
2183       zeroline: False
2184     yaxis:
2185       gridcolor: "rgb(238, 238, 238)'"
2186       hoverformat: ".4s"
2187       linecolor: "rgb(238, 238, 238)"
2188       linewidth: 1
2189       range: [2000000, 6000000]
2190       showgrid: True
2191       showline: True
2192       showticklabels: True
2193       tickcolor: "rgb(238, 238, 238)"
2194       title: "Packets Per Second [pps]"
2195       zeroline: False
2196     boxmode: "group"
2197     boxgroupgap: 0.5
2198     autosize: False
2199     margin:
2200       t: 50
2201       b: 20
2202       l: 50
2203       r: 20
2204     showlegend: True
2205     legend:
2206       orientation: "h"
2207     width: 700
2208     height: 1000
2209
2210 -
2211   type: "plot"
2212   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2213   algorithm: "plot_performance_box"
2214   output-file-type: ".html"
2215   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2216   data:
2217     "plot-vpp-throughput-latency"
2218   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2219   parameters:
2220   - "throughput"
2221   - "parent"
2222   traces:
2223     hoverinfo: "x+y"
2224     boxpoints: "outliers"
2225     whiskerwidth: 0
2226   layout:
2227     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2228     layout:
2229       "plot-throughput"
2230
2231 -
2232   type: "plot"
2233   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2234   algorithm: "plot_performance_box"
2235   output-file-type: ".html"
2236   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2237   data:
2238     "plot-vpp-throughput-latency"
2239   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2240   parameters:
2241   - "throughput"
2242   - "parent"
2243   traces:
2244     hoverinfo: "x+y"
2245     boxpoints: "outliers"
2246     whiskerwidth: 0
2247   layout:
2248     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2249     layout:
2250       "plot-throughput"
2251
2252 -
2253   type: "plot"
2254   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2255   algorithm: "plot_performance_box"
2256   output-file-type: ".html"
2257   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2258   data:
2259     "plot-vpp-throughput-latency"
2260   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2261   parameters:
2262   - "throughput"
2263   - "parent"
2264   traces:
2265     hoverinfo: "x+y"
2266     boxpoints: "outliers"
2267     whiskerwidth: 0
2268   layout:
2269     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2270     xaxis:
2271       autorange: True
2272       autotick: False
2273       fixedrange: False
2274       gridcolor: "rgb(238, 238, 238)"
2275       linecolor: "rgb(238, 238, 238)"
2276       linewidth: 1
2277       showgrid: True
2278       showline: True
2279       showticklabels: True
2280       tickcolor: "rgb(238, 238, 238)"
2281       tickmode: "linear"
2282       title: "Indexed Test Cases"
2283       zeroline: False
2284     yaxis:
2285       gridcolor: "rgb(238, 238, 238)'"
2286       hoverformat: ".4s"
2287       linecolor: "rgb(238, 238, 238)"
2288       linewidth: 1
2289       range: [4000000, 12000000]
2290       showgrid: True
2291       showline: True
2292       showticklabels: True
2293       tickcolor: "rgb(238, 238, 238)"
2294       title: "Packets Per Second [pps]"
2295       zeroline: False
2296     boxmode: "group"
2297     boxgroupgap: 0.5
2298     autosize: False
2299     margin:
2300       t: 50
2301       b: 20
2302       l: 50
2303       r: 20
2304     showlegend: True
2305     legend:
2306       orientation: "h"
2307     width: 700
2308     height: 1000
2309
2310 # VPP VM VHOST
2311 -
2312   type: "plot"
2313   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2314   algorithm: "plot_performance_box"
2315   output-file-type: ".html"
2316   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2317   data:
2318     "plot-vpp-throughput-latency"
2319   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2320   parameters:
2321   - "throughput"
2322   - "parent"
2323   traces:
2324     hoverinfo: "x+y"
2325     boxpoints: "outliers"
2326     whiskerwidth: 0
2327   layout:
2328     title: "64B-1t1c-.*vhost.*-ndrdisc"
2329     xaxis:
2330       autorange: True
2331       autotick: False
2332       fixedrange: False
2333       gridcolor: "rgb(238, 238, 238)"
2334       linecolor: "rgb(238, 238, 238)"
2335       linewidth: 1
2336       showgrid: True
2337       showline: True
2338       showticklabels: True
2339       tickcolor: "rgb(238, 238, 238)"
2340       tickmode: "linear"
2341       title: "Indexed Test Cases"
2342       zeroline: False
2343     yaxis:
2344       gridcolor: "rgb(238, 238, 238)'"
2345       hoverformat: ".4s"
2346       linecolor: "rgb(238, 238, 238)"
2347       linewidth: 1
2348       range: [0, 3500000]
2349       showgrid: True
2350       showline: True
2351       showticklabels: True
2352       tickcolor: "rgb(238, 238, 238)"
2353       title: "Packets Per Second [pps]"
2354       zeroline: False
2355     boxmode: "group"
2356     boxgroupgap: 0.5
2357     autosize: False
2358     margin:
2359       t: 50
2360       b: 20
2361       l: 50
2362       r: 20
2363     showlegend: True
2364     legend:
2365       orientation: "h"
2366     width: 700
2367     height: 1000
2368
2369 -
2370   type: "plot"
2371   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2372   algorithm: "plot_performance_box"
2373   output-file-type: ".html"
2374   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2375   data:
2376     "plot-vpp-throughput-latency"
2377   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2378   parameters:
2379   - "throughput"
2380   - "parent"
2381   traces:
2382     hoverinfo: "x+y"
2383     boxpoints: "outliers"
2384     whiskerwidth: 0
2385   layout:
2386     title: "64B-2t2c-.*vhost.*-ndrdisc"
2387     layout:
2388       "plot-throughput"
2389
2390 -
2391   type: "plot"
2392   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2393   algorithm: "plot_performance_box"
2394   output-file-type: ".html"
2395   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2396   data:
2397     "plot-vpp-throughput-latency"
2398   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2399   parameters:
2400   - "throughput"
2401   - "parent"
2402   traces:
2403     hoverinfo: "x+y"
2404     boxpoints: "outliers"
2405     whiskerwidth: 0
2406   layout:
2407     title: "64B-1t1c-.*vhost.*-pdrdisc"
2408     layout:
2409       "plot-throughput"
2410
2411 -
2412   type: "plot"
2413   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2414   algorithm: "plot_performance_box"
2415   output-file-type: ".html"
2416   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2417   data:
2418     "plot-vpp-throughput-latency"
2419   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2420   parameters:
2421   - "throughput"
2422   - "parent"
2423   traces:
2424     hoverinfo: "x+y"
2425     boxpoints: "outliers"
2426     whiskerwidth: 0
2427   layout:
2428     title: "64B-2t2c-.*vhost.*-pdrdisc"
2429     layout:
2430       "plot-throughput"
2431
2432 # VPP VM VHOST SELECTION
2433 -
2434   type: "plot"
2435   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2436   algorithm: "plot_performance_box"
2437   output-file-type: ".html"
2438   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2439   data:
2440     "plot-vpp-throughput-latency"
2441   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2442   parameters:
2443   - "throughput"
2444   - "parent"
2445   traces:
2446     hoverinfo: "x+y"
2447     boxpoints: "outliers"
2448     whiskerwidth: 0
2449   layout:
2450     title: "64B-1t1c-.*vhost.*-ndrdisc"
2451     layout:
2452       "plot-throughput"
2453
2454 -
2455   type: "plot"
2456   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2457   algorithm: "plot_performance_box"
2458   output-file-type: ".html"
2459   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2460   data:
2461     "plot-vpp-throughput-latency"
2462   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2463   parameters:
2464   - "throughput"
2465   - "parent"
2466   traces:
2467     hoverinfo: "x+y"
2468     boxpoints: "outliers"
2469     whiskerwidth: 0
2470   layout:
2471     title: "64B-2t2c-.*vhost.*-ndrdisc"
2472     layout:
2473       "plot-throughput"
2474
2475 -
2476   type: "plot"
2477   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2478   algorithm: "plot_performance_box"
2479   output-file-type: ".html"
2480   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2481   data:
2482     "plot-vpp-throughput-latency"
2483   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2484   parameters:
2485   - "throughput"
2486   - "parent"
2487   traces:
2488     hoverinfo: "x+y"
2489     boxpoints: "outliers"
2490     whiskerwidth: 0
2491   layout:
2492     title: "64B-1t1c-.*vhost.*-pdrdisc"
2493     layout:
2494       "plot-throughput"
2495
2496 -
2497   type: "plot"
2498   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2499   algorithm: "plot_performance_box"
2500   output-file-type: ".html"
2501   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2502   data:
2503     "plot-vpp-throughput-latency"
2504   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2505   parameters:
2506   - "throughput"
2507   - "parent"
2508   traces:
2509     hoverinfo: "x+y"
2510     boxpoints: "outliers"
2511     whiskerwidth: 0
2512   layout:
2513     title: "64B-2t2c-.*vhost.*-pdrdisc"
2514     layout:
2515       "plot-throughput"
2516
2517 # VPP CRYPTO
2518 -
2519   type: "plot"
2520   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2521   algorithm: "plot_performance_box"
2522   output-file-type: ".html"
2523   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2524   data:
2525     "plot-vpp-throughput-latency"
2526   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2527   parameters:
2528   - "throughput"
2529   - "parent"
2530   traces:
2531     hoverinfo: "x+y"
2532     boxpoints: "outliers"
2533     whiskerwidth: 0
2534   layout:
2535     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2536     layout:
2537       "plot-throughput"
2538
2539 -
2540   type: "plot"
2541   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2542   algorithm: "plot_performance_box"
2543   output-file-type: ".html"
2544   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2545   data:
2546     "plot-vpp-throughput-latency"
2547   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2548   parameters:
2549   - "throughput"
2550   - "parent"
2551   traces:
2552     hoverinfo: "x+y"
2553     boxpoints: "outliers"
2554     whiskerwidth: 0
2555   layout:
2556     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2557     layout:
2558       "plot-throughput"
2559
2560 -
2561   type: "plot"
2562   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2563   algorithm: "plot_performance_box"
2564   output-file-type: ".html"
2565   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2566   data:
2567     "plot-vpp-throughput-latency"
2568   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2569   parameters:
2570   - "throughput"
2571   - "parent"
2572   traces:
2573     hoverinfo: "x+y"
2574     boxpoints: "outliers"
2575     whiskerwidth: 0
2576   layout:
2577     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2578     layout:
2579       "plot-throughput"
2580
2581 -
2582   type: "plot"
2583   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2584   algorithm: "plot_performance_box"
2585   output-file-type: ".html"
2586   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2587   data:
2588     "plot-vpp-throughput-latency"
2589   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2590   parameters:
2591   - "throughput"
2592   - "parent"
2593   traces:
2594     hoverinfo: "x+y"
2595     boxpoints: "outliers"
2596     whiskerwidth: 0
2597   layout:
2598     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2599     layout:
2600       "plot-throughput"
2601
2602 # DPDK
2603 -
2604   type: "plot"
2605   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2606   algorithm: "plot_performance_box"
2607   output-file-type: ".html"
2608   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2609   data:
2610     "plot-dpdk-throughput-latency"
2611   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2612   parameters:
2613   - "throughput"
2614   - "parent"
2615   traces:
2616     hoverinfo: "x+y"
2617     boxpoints: "outliers"
2618     whiskerwidth: 0
2619   layout:
2620     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2621     layout:
2622       "plot-throughput"
2623
2624 -
2625   type: "plot"
2626   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2627   algorithm: "plot_performance_box"
2628   output-file-type: ".html"
2629   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2630   data:
2631     "plot-dpdk-throughput-latency"
2632   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2633   parameters:
2634   - "throughput"
2635   - "parent"
2636   traces:
2637     hoverinfo: "x+y"
2638     boxpoints: "outliers"
2639     whiskerwidth: 0
2640   layout:
2641     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2642     layout:
2643       "plot-throughput"
2644
2645 -
2646   type: "plot"
2647   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2648   algorithm: "plot_performance_box"
2649   output-file-type: ".html"
2650   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2651   data:
2652     "plot-dpdk-throughput-latency"
2653   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2654   parameters:
2655   - "throughput"
2656   - "parent"
2657   traces:
2658     hoverinfo: "x+y"
2659     boxpoints: "outliers"
2660     whiskerwidth: 0
2661   layout:
2662     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2663     xaxis:
2664       autorange: True
2665       autotick: False
2666       fixedrange: False
2667       gridcolor: "rgb(238, 238, 238)"
2668       linecolor: "rgb(238, 238, 238)"
2669       linewidth: 1
2670       showgrid: True
2671       showline: True
2672       showticklabels: True
2673       tickcolor: "rgb(238, 238, 238)"
2674       tickmode: "linear"
2675       title: "Indexed Test Cases"
2676       zeroline: False
2677     yaxis:
2678       gridcolor: "rgb(238, 238, 238)'"
2679       hoverformat: ".4s"
2680       linecolor: "rgb(238, 238, 238)"
2681       linewidth: 1
2682       range: [2000000, 12000000]
2683       showgrid: True
2684       showline: True
2685       showticklabels: True
2686       tickcolor: "rgb(238, 238, 238)"
2687       title: "Packets Per Second [pps]"
2688       zeroline: False
2689     boxmode: "group"
2690     boxgroupgap: 0.5
2691     autosize: False
2692     margin:
2693       t: 50
2694       b: 20
2695       l: 50
2696       r: 20
2697     showlegend: True
2698     legend:
2699       orientation: "h"
2700     width: 700
2701     height: 1000
2702
2703 -
2704   type: "plot"
2705   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2706   algorithm: "plot_performance_box"
2707   output-file-type: ".html"
2708   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2709   data:
2710     "plot-dpdk-throughput-latency"
2711   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2712   parameters:
2713   - "throughput"
2714   - "parent"
2715   traces:
2716     hoverinfo: "x+y"
2717     boxpoints: "outliers"
2718     whiskerwidth: 0
2719   layout:
2720     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2721     xaxis:
2722       autorange: True
2723       autotick: False
2724       fixedrange: False
2725       gridcolor: "rgb(238, 238, 238)"
2726       linecolor: "rgb(238, 238, 238)"
2727       linewidth: 1
2728       showgrid: True
2729       showline: True
2730       showticklabels: True
2731       tickcolor: "rgb(238, 238, 238)"
2732       tickmode: "linear"
2733       title: "Indexed Test Cases"
2734       zeroline: False
2735     yaxis:
2736       gridcolor: "rgb(238, 238, 238)'"
2737       hoverformat: ".4s"
2738       linecolor: "rgb(238, 238, 238)"
2739       linewidth: 1
2740       range: [2000000, 12000000]
2741       showgrid: True
2742       showline: True
2743       showticklabels: True
2744       tickcolor: "rgb(238, 238, 238)"
2745       title: "Packets Per Second [pps]"
2746       zeroline: False
2747     boxmode: "group"
2748     boxgroupgap: 0.5
2749     autosize: False
2750     margin:
2751       t: 50
2752       b: 20
2753       l: 50
2754       r: 20
2755     showlegend: True
2756     legend:
2757       orientation: "h"
2758     width: 700
2759     height: 1000
2760
2761 -
2762   type: "plot"
2763   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2764   algorithm: "plot_performance_box"
2765   output-file-type: ".html"
2766   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2767   data:
2768     "plot-dpdk-throughput-latency"
2769   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2770   parameters:
2771   - "throughput"
2772   - "parent"
2773   traces:
2774     hoverinfo: "x+y"
2775     boxpoints: "outliers"
2776     whiskerwidth: 0
2777   layout:
2778     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2779     layout:
2780       "plot-throughput"
2781
2782 -
2783   type: "plot"
2784   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2785   algorithm: "plot_performance_box"
2786   output-file-type: ".html"
2787   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2788   data:
2789     "plot-dpdk-throughput-latency"
2790   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2791   parameters:
2792   - "throughput"
2793   - "parent"
2794   traces:
2795     hoverinfo: "x+y"
2796     boxpoints: "outliers"
2797     whiskerwidth: 0
2798   layout:
2799     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2800     layout:
2801       "plot-throughput"
2802
2803 -
2804   type: "plot"
2805   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2806   algorithm: "plot_performance_box"
2807   output-file-type: ".html"
2808   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2809   data:
2810     "plot-dpdk-throughput-latency"
2811   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2812   parameters:
2813   - "throughput"
2814   - "parent"
2815   traces:
2816     hoverinfo: "x+y"
2817     boxpoints: "outliers"
2818     whiskerwidth: 0
2819   layout:
2820     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2821     xaxis:
2822       autorange: True
2823       autotick: False
2824       fixedrange: False
2825       gridcolor: "rgb(238, 238, 238)"
2826       linecolor: "rgb(238, 238, 238)"
2827       linewidth: 1
2828       showgrid: True
2829       showline: True
2830       showticklabels: True
2831       tickcolor: "rgb(238, 238, 238)"
2832       tickmode: "linear"
2833       title: "Indexed Test Cases"
2834       zeroline: False
2835     yaxis:
2836       gridcolor: "rgb(238, 238, 238)'"
2837       hoverformat: ".4s"
2838       linecolor: "rgb(238, 238, 238)"
2839       linewidth: 1
2840       range: [20000000, 30000000]
2841       showgrid: True
2842       showline: True
2843       showticklabels: True
2844       tickcolor: "rgb(238, 238, 238)"
2845       title: "Packets Per Second [pps]"
2846       zeroline: False
2847     boxmode: "group"
2848     boxgroupgap: 0.5
2849     autosize: False
2850     margin:
2851       t: 50
2852       b: 20
2853       l: 50
2854       r: 20
2855     showlegend: True
2856     legend:
2857       orientation: "h"
2858     width: 700
2859     height: 1000
2860
2861 -
2862   type: "plot"
2863   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2864   algorithm: "plot_performance_box"
2865   output-file-type: ".html"
2866   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2867   data:
2868     "plot-dpdk-throughput-latency"
2869   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2870   parameters:
2871   - "throughput"
2872   - "parent"
2873   traces:
2874     hoverinfo: "x+y"
2875     boxpoints: "outliers"
2876     whiskerwidth: 0
2877   layout:
2878     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2879     xaxis:
2880       autorange: True
2881       autotick: False
2882       fixedrange: False
2883       gridcolor: "rgb(238, 238, 238)"
2884       linecolor: "rgb(238, 238, 238)"
2885       linewidth: 1
2886       showgrid: True
2887       showline: True
2888       showticklabels: True
2889       tickcolor: "rgb(238, 238, 238)"
2890       tickmode: "linear"
2891       title: "Indexed Test Cases"
2892       zeroline: False
2893     yaxis:
2894       gridcolor: "rgb(238, 238, 238)'"
2895       hoverformat: ".4s"
2896       linecolor: "rgb(238, 238, 238)"
2897       linewidth: 1
2898       range: [20000000, 30000000]
2899       showgrid: True
2900       showline: True
2901       showticklabels: True
2902       tickcolor: "rgb(238, 238, 238)"
2903       title: "Packets Per Second [pps]"
2904       zeroline: False
2905     boxmode: "group"
2906     boxgroupgap: 0.5
2907     autosize: False
2908     margin:
2909       t: 50
2910       b: 20
2911       l: 50
2912       r: 20
2913     showlegend: True
2914     legend:
2915       orientation: "h"
2916     width: 700
2917     height: 1000
2918
2919 # Plot latency
2920
2921 # VPP L2 sel1
2922 -
2923   type: "plot"
2924   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2925   algorithm: "plot_latency_box"
2926   output-file-type: ".html"
2927   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2928   data:
2929     "plot-vpp-throughput-latency"
2930   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2931   parameters:
2932   - "latency"
2933   - "parent"
2934   traces:
2935     boxmean: False
2936   layout:
2937     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2938     layout:
2939       "plot-latency"
2940
2941 -
2942   type: "plot"
2943   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2944   algorithm: "plot_latency_box"
2945   output-file-type: ".html"
2946   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2947   data:
2948     "plot-vpp-throughput-latency"
2949   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2950   parameters:
2951   - "latency"
2952   - "parent"
2953   traces:
2954     boxmean: False
2955   layout:
2956     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2957     layout:
2958       "plot-latency"
2959
2960 # VPP L2 sel2
2961 -
2962   type: "plot"
2963   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2964   algorithm: "plot_latency_box"
2965   output-file-type: ".html"
2966   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2967   data:
2968     "plot-vpp-throughput-latency"
2969   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2970   parameters:
2971   - "latency"
2972   - "parent"
2973   traces:
2974     boxmean: False
2975   layout:
2976     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2977     layout:
2978       "plot-latency"
2979
2980 -
2981   type: "plot"
2982   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2983   algorithm: "plot_latency_box"
2984   output-file-type: ".html"
2985   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2986   data:
2987     "plot-vpp-throughput-latency"
2988   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2989   parameters:
2990   - "latency"
2991   - "parent"
2992   traces:
2993     boxmean: False
2994   layout:
2995     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2996     layout:
2997       "plot-latency"
2998
2999 # VPP IP4
3000 -
3001   type: "plot"
3002   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3003   algorithm: "plot_latency_box"
3004   output-file-type: ".html"
3005   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3006   data:
3007     "plot-vpp-throughput-latency"
3008   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3009   parameters:
3010   - "latency"
3011   - "parent"
3012   traces:
3013     boxmean: False
3014   layout:
3015     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3016     layout:
3017       "plot-latency"
3018
3019 -
3020   type: "plot"
3021   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3022   algorithm: "plot_latency_box"
3023   output-file-type: ".html"
3024   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3025   data:
3026     "plot-vpp-throughput-latency"
3027   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3028   parameters:
3029   - "latency"
3030   - "parent"
3031   traces:
3032     boxmean: False
3033   layout:
3034     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3035     layout:
3036       "plot-latency"
3037
3038 # VPP IP6
3039 -
3040   type: "plot"
3041   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3042   algorithm: "plot_latency_box"
3043   output-file-type: ".html"
3044   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3045   data:
3046     "plot-vpp-throughput-latency"
3047   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3048   parameters:
3049   - "latency"
3050   - "parent"
3051   traces:
3052     boxmean: False
3053   layout:
3054     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3055     layout:
3056       "plot-latency"
3057
3058 -
3059   type: "plot"
3060   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3061   algorithm: "plot_latency_box"
3062   output-file-type: ".html"
3063   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3064   data:
3065     "plot-vpp-throughput-latency"
3066   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3067   parameters:
3068   - "latency"
3069   - "parent"
3070   traces:
3071     boxmean: False
3072   layout:
3073     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3074     layout:
3075       "plot-latency"
3076
3077 # VPP IP4_overlay
3078 -
3079   type: "plot"
3080   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3081   algorithm: "plot_latency_box"
3082   output-file-type: ".html"
3083   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3084   data:
3085     "plot-vpp-throughput-latency"
3086   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3087   parameters:
3088   - "latency"
3089   - "parent"
3090   traces:
3091     boxmean: False
3092   layout:
3093     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3094     layout:
3095       "plot-latency"
3096
3097 -
3098   type: "plot"
3099   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3100   algorithm: "plot_latency_box"
3101   output-file-type: ".html"
3102   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3103   data:
3104     "plot-vpp-throughput-latency"
3105   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3106   parameters:
3107   - "latency"
3108   - "parent"
3109   traces:
3110     boxmean: False
3111   layout:
3112     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3113     layout:
3114       "plot-latency"
3115
3116 # VPP IP6_overlay
3117 -
3118   type: "plot"
3119   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3120   algorithm: "plot_latency_box"
3121   output-file-type: ".html"
3122   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3123   data:
3124     "plot-vpp-throughput-latency"
3125   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3126   parameters:
3127   - "latency"
3128   - "parent"
3129   traces:
3130     boxmean: False
3131   layout:
3132     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3133     layout:
3134       "plot-latency"
3135
3136 -
3137   type: "plot"
3138   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3139   algorithm: "plot_latency_box"
3140   output-file-type: ".html"
3141   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3142   data:
3143     "plot-vpp-throughput-latency"
3144   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3145   parameters:
3146   - "latency"
3147   - "parent"
3148   traces:
3149     boxmean: False
3150   layout:
3151     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3152     layout:
3153       "plot-latency"
3154
3155 # VPP VM VHOST
3156 -
3157   type: "plot"
3158   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3159   algorithm: "plot_latency_box"
3160   output-file-type: ".html"
3161   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3162   data:
3163     "plot-vpp-throughput-latency"
3164   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3165   parameters:
3166   - "latency"
3167   - "parent"
3168   traces:
3169     boxmean: False
3170   layout:
3171     title: "64B-1t1c-.*vhost.*-ndrdisc"
3172     layout:
3173       "plot-latency"
3174
3175 -
3176   type: "plot"
3177   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3178   algorithm: "plot_latency_box"
3179   output-file-type: ".html"
3180   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3181   data:
3182     "plot-vpp-throughput-latency"
3183   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3184   parameters:
3185   - "latency"
3186   - "parent"
3187   traces:
3188     boxmean: False
3189   layout:
3190     title: "64B-2t2c-.*vhost.*-ndrdisc"
3191     layout:
3192       "plot-latency"
3193
3194 # VPP VM VHOST selection
3195 -
3196   type: "plot"
3197   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3198   algorithm: "plot_latency_box"
3199   output-file-type: ".html"
3200   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3201   data:
3202     "plot-vpp-throughput-latency"
3203   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3204   parameters:
3205   - "latency"
3206   - "parent"
3207   traces:
3208     boxmean: False
3209   layout:
3210     title: "64B-1t1c-.*vhost.*-ndrdisc"
3211     layout:
3212       "plot-latency"
3213
3214 -
3215   type: "plot"
3216   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3217   algorithm: "plot_latency_box"
3218   output-file-type: ".html"
3219   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3220   data:
3221     "plot-vpp-throughput-latency"
3222   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3223   parameters:
3224   - "latency"
3225   - "parent"
3226   traces:
3227     boxmean: False
3228   layout:
3229     title: "64B-2t2c-.*vhost.*-ndrdisc"
3230     layout:
3231       "plot-latency"
3232
3233 # VPP CRYPTO
3234 -
3235   type: "plot"
3236   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3237   algorithm: "plot_latency_box"
3238   output-file-type: ".html"
3239   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3240   data:
3241     "plot-vpp-throughput-latency"
3242   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3243   parameters:
3244   - "latency"
3245   - "parent"
3246   traces:
3247     boxmean: False
3248   layout:
3249     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3250     layout:
3251       "plot-latency"
3252
3253 -
3254   type: "plot"
3255   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3256   algorithm: "plot_latency_box"
3257   output-file-type: ".html"
3258   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3259   data:
3260     "plot-vpp-throughput-latency"
3261   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3262   parameters:
3263   - "latency"
3264   - "parent"
3265   traces:
3266     boxmean: False
3267   layout:
3268     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3269     layout:
3270       "plot-latency"
3271
3272 # DPDK
3273 -
3274   type: "plot"
3275   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3276   algorithm: "plot_latency_box"
3277   output-file-type: ".html"
3278   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3279   data:
3280     "plot-dpdk-throughput-latency"
3281   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3282   parameters:
3283   - "latency"
3284   - "parent"
3285   traces:
3286     boxmean: False
3287   layout:
3288     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3289     layout:
3290       "plot-latency"
3291
3292 -
3293   type: "plot"
3294   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3295   algorithm: "plot_latency_box"
3296   output-file-type: ".html"
3297   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3298   data:
3299     "plot-dpdk-throughput-latency"
3300   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3301   parameters:
3302   - "latency"
3303   - "parent"
3304   traces:
3305     boxmean: False
3306   layout:
3307     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3308     layout:
3309       "plot-latency"
3310
3311 -
3312   type: "plot"
3313   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3314   algorithm: "plot_latency_box"
3315   output-file-type: ".html"
3316   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3317   data:
3318     "plot-dpdk-throughput-latency"
3319   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3320   parameters:
3321   - "latency"
3322   - "parent"
3323   traces:
3324     boxmean: False
3325   layout:
3326     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3327     layout:
3328       "plot-latency"
3329
3330 -
3331   type: "plot"
3332   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3333   algorithm: "plot_latency_box"
3334   output-file-type: ".html"
3335   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3336   data:
3337     "plot-dpdk-throughput-latency"
3338   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3339   parameters:
3340   - "latency"
3341   - "parent"
3342   traces:
3343     boxmean: False
3344   layout:
3345     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3346     layout:
3347       "plot-latency"
3348
3349 # Ligato - Throughput
3350
3351 # Container memif
3352 -
3353   type: "plot"
3354   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3355   algorithm: "plot_performance_box"
3356   output-file-type: ".html"
3357   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3358   data:
3359     "plot-vpp-throughput-latency"
3360   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3361   parameters:
3362   - "throughput"
3363   - "parent"
3364   traces:
3365     hoverinfo: "x+y"
3366     boxpoints: "outliers"
3367     whiskerwidth: 0
3368   layout:
3369     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3370     xaxis:
3371       autorange: True
3372       autotick: False
3373       fixedrange: False
3374       gridcolor: "rgb(238, 238, 238)"
3375       linecolor: "rgb(238, 238, 238)"
3376       linewidth: 1
3377       showgrid: True
3378       showline: True
3379       showticklabels: True
3380       tickcolor: "rgb(238, 238, 238)"
3381       tickmode: "linear"
3382       title: "Indexed Test Cases"
3383       zeroline: False
3384     yaxis:
3385       gridcolor: "rgb(238, 238, 238)'"
3386       hoverformat: ".4s"
3387       linecolor: "rgb(238, 238, 238)"
3388       linewidth: 1
3389       range: [0, 4500000]
3390       showgrid: True
3391       showline: True
3392       showticklabels: True
3393       tickcolor: "rgb(238, 238, 238)"
3394       title: "Packets Per Second [pps]"
3395       zeroline: False
3396     boxmode: "group"
3397     boxgroupgap: 0.5
3398     autosize: False
3399     margin:
3400       t: 50
3401       b: 20
3402       l: 50
3403       r: 20
3404     showlegend: True
3405     legend:
3406       orientation: "h"
3407     width: 700
3408     height: 1000
3409
3410 -
3411   type: "plot"
3412   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3413   algorithm: "plot_performance_box"
3414   output-file-type: ".html"
3415   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3416   data:
3417     "plot-vpp-throughput-latency"
3418   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3419   parameters:
3420   - "throughput"
3421   - "parent"
3422   traces:
3423     hoverinfo: "x+y"
3424     boxpoints: "outliers"
3425     whiskerwidth: 0
3426   layout:
3427     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3428     xaxis:
3429       autorange: True
3430       autotick: False
3431       fixedrange: False
3432       gridcolor: "rgb(238, 238, 238)"
3433       linecolor: "rgb(238, 238, 238)"
3434       linewidth: 1
3435       showgrid: True
3436       showline: True
3437       showticklabels: True
3438       tickcolor: "rgb(238, 238, 238)"
3439       tickmode: "linear"
3440       title: "Indexed Test Cases"
3441       zeroline: False
3442     yaxis:
3443       gridcolor: "rgb(238, 238, 238)'"
3444       hoverformat: ".4s"
3445       linecolor: "rgb(238, 238, 238)"
3446       linewidth: 1
3447       range: [0, 8000000]
3448       showgrid: True
3449       showline: True
3450       showticklabels: True
3451       tickcolor: "rgb(238, 238, 238)"
3452       title: "Packets Per Second [pps]"
3453       zeroline: False
3454     boxmode: "group"
3455     boxgroupgap: 0.5
3456     autosize: False
3457     margin:
3458       t: 50
3459       b: 20
3460       l: 50
3461       r: 20
3462     showlegend: True
3463     legend:
3464       orientation: "h"
3465     width: 700
3466     height: 1000
3467
3468 -
3469   type: "plot"
3470   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3471   algorithm: "plot_performance_box"
3472   output-file-type: ".html"
3473   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3474   data:
3475     "plot-vpp-throughput-latency"
3476   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3477   parameters:
3478   - "throughput"
3479   - "parent"
3480   traces:
3481     hoverinfo: "x+y"
3482     boxpoints: "outliers"
3483     whiskerwidth: 0
3484   layout:
3485     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3486     xaxis:
3487       autorange: True
3488       autotick: False
3489       fixedrange: False
3490       gridcolor: "rgb(238, 238, 238)"
3491       linecolor: "rgb(238, 238, 238)"
3492       linewidth: 1
3493       showgrid: True
3494       showline: True
3495       showticklabels: True
3496       tickcolor: "rgb(238, 238, 238)"
3497       tickmode: "linear"
3498       title: "Indexed Test Cases"
3499       zeroline: False
3500     yaxis:
3501       gridcolor: "rgb(238, 238, 238)'"
3502       hoverformat: ".4s"
3503       linecolor: "rgb(238, 238, 238)"
3504       linewidth: 1
3505       range: [0, 4500000]
3506       showgrid: True
3507       showline: True
3508       showticklabels: True
3509       tickcolor: "rgb(238, 238, 238)"
3510       title: "Packets Per Second [pps]"
3511       zeroline: False
3512     boxmode: "group"
3513     boxgroupgap: 0.5
3514     autosize: False
3515     margin:
3516       t: 50
3517       b: 20
3518       l: 50
3519       r: 20
3520     showlegend: True
3521     legend:
3522       orientation: "h"
3523     width: 700
3524     height: 1000
3525
3526 -
3527   type: "plot"
3528   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3529   algorithm: "plot_performance_box"
3530   output-file-type: ".html"
3531   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3532   data:
3533     "plot-vpp-throughput-latency"
3534   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3535   parameters:
3536   - "throughput"
3537   - "parent"
3538   traces:
3539     hoverinfo: "x+y"
3540     boxpoints: "outliers"
3541     whiskerwidth: 0
3542   layout:
3543     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3544     xaxis:
3545       autorange: True
3546       autotick: False
3547       fixedrange: False
3548       gridcolor: "rgb(238, 238, 238)"
3549       linecolor: "rgb(238, 238, 238)"
3550       linewidth: 1
3551       showgrid: True
3552       showline: True
3553       showticklabels: True
3554       tickcolor: "rgb(238, 238, 238)"
3555       tickmode: "linear"
3556       title: "Indexed Test Cases"
3557       zeroline: False
3558     yaxis:
3559       gridcolor: "rgb(238, 238, 238)'"
3560       hoverformat: ".4s"
3561       linecolor: "rgb(238, 238, 238)"
3562       linewidth: 1
3563       range: [0, 8000000]
3564       showgrid: True
3565       showline: True
3566       showticklabels: True
3567       tickcolor: "rgb(238, 238, 238)"
3568       title: "Packets Per Second [pps]"
3569       zeroline: False
3570     boxmode: "group"
3571     boxgroupgap: 0.5
3572     autosize: False
3573     margin:
3574       t: 50
3575       b: 20
3576       l: 50
3577       r: 20
3578     showlegend: True
3579     legend:
3580       orientation: "h"
3581     width: 700
3582     height: 1000
3583
3584 # Container orchestrated
3585 -
3586   type: "plot"
3587   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3588   algorithm: "plot_performance_box"
3589   output-file-type: ".html"
3590   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3591   data:
3592     "plot-ligato-throughput-latency"
3593   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3594   parameters:
3595   - "throughput"
3596   - "parent"
3597   traces:
3598     hoverinfo: "x+y"
3599     boxpoints: "outliers"
3600     whiskerwidth: 0
3601   layout:
3602     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3603     layout:
3604       "plot-throughput"
3605
3606 -
3607   type: "plot"
3608   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3609   algorithm: "plot_performance_box"
3610   output-file-type: ".html"
3611   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3612   data:
3613     "plot-ligato-throughput-latency"
3614   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3615   parameters:
3616   - "throughput"
3617   - "parent"
3618   traces:
3619     hoverinfo: "x+y"
3620     boxpoints: "outliers"
3621     whiskerwidth: 0
3622   layout:
3623     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3624     layout:
3625       "plot-throughput"
3626
3627 -
3628   type: "plot"
3629   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3630   algorithm: "plot_performance_box"
3631   output-file-type: ".html"
3632   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3633   data:
3634     "plot-ligato-throughput-latency"
3635   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3636   parameters:
3637   - "throughput"
3638   - "parent"
3639   traces:
3640     hoverinfo: "x+y"
3641     boxpoints: "outliers"
3642     whiskerwidth: 0
3643   layout:
3644     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3645     layout:
3646       "plot-throughput"
3647
3648 -
3649   type: "plot"
3650   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3651   algorithm: "plot_performance_box"
3652   output-file-type: ".html"
3653   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3654   data:
3655     "plot-ligato-throughput-latency"
3656   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3657   parameters:
3658   - "throughput"
3659   - "parent"
3660   traces:
3661     hoverinfo: "x+y"
3662     boxpoints: "outliers"
3663     whiskerwidth: 0
3664   layout:
3665     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3666     layout:
3667       "plot-throughput"
3668
3669 # Ligato - Latency
3670
3671 # Container memif
3672 -
3673   type: "plot"
3674   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3675   algorithm: "plot_latency_box"
3676   output-file-type: ".html"
3677   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3678   data:
3679     "plot-vpp-throughput-latency"
3680   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3681   parameters:
3682   - "latency"
3683   - "parent"
3684   traces:
3685     boxmean: False
3686   layout:
3687     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3688     layout:
3689       "plot-latency"
3690
3691 -
3692   type: "plot"
3693   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3694   algorithm: "plot_latency_box"
3695   output-file-type: ".html"
3696   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3697   data:
3698     "plot-vpp-throughput-latency"
3699   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3700   parameters:
3701   - "latency"
3702   - "parent"
3703   traces:
3704     boxmean: False
3705   layout:
3706     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3707     layout:
3708       "plot-latency"
3709
3710 # Container orchestrated
3711 -
3712   type: "plot"
3713   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3714   algorithm: "plot_latency_box"
3715   output-file-type: ".html"
3716   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3717   data:
3718     "plot-ligato-throughput-latency"
3719   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3720   parameters:
3721   - "latency"
3722   - "parent"
3723   traces:
3724     boxmean: False
3725   layout:
3726     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3727     layout:
3728       "plot-latency"
3729
3730 -
3731   type: "plot"
3732   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3733   algorithm: "plot_latency_box"
3734   output-file-type: ".html"
3735   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3736   data:
3737     "plot-ligato-throughput-latency"
3738   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3739   parameters:
3740   - "latency"
3741   - "parent"
3742   traces:
3743     boxmean: False
3744   layout:
3745     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3746     layout:
3747       "plot-latency"