resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,MRR,VPP]: "{DIR[DTR]}/vpp_mrr_results"
  42     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  43     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  44     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  45     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  46     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  47     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  49
  50     # Detailed test configurations
  51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  53     DIR[DTC,MRR,VPP]: "{DIR[DTC]}/vpp_mrr_configuration"
  54     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  56
  57     # Detailed tests operational data
  58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  59     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  60
  61     # .css patch file to fix tables generated by Sphinx
  62     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  63     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  64
  65   urls:
  66     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  67     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  68     URL[NEXUS]: "https://docs.fd.io/csit"
  69     DIR[NEXUS]: "report/_static/archive"
  70
  71   make-dirs:
  72   # List the directories which are created while preparing the environment.
  73   # All directories MUST be defined in "paths" section.
  74   - "DIR[WORKING,DATA]"
  75   - "DIR[STATIC,VPP]"
  76   - "DIR[STATIC,DPDK]"
  77   - "DIR[STATIC,ARCH]"
  78   - "DIR[BUILD,LATEX]"
  79   - "DIR[WORKING,SRC]"
  80   - "DIR[WORKING,SRC,STATIC]"
  81
  82   remove-dirs:
  83   # List the directories which are deleted while cleaning the environment.
  84   # All directories MUST be defined in "paths" section.
  85   #- "DIR[BUILD,HTML]"
  86   - "DIR[WORKING,DATA]"
  87
  88   build-dirs:
  89   # List the directories where the results (build) is stored.
  90   # All directories MUST be defined in "paths" section.
  91   - "DIR[BUILD,HTML]"
  92   - "DIR[BUILD,LATEX]"
  93
  94 -
  95   type: "configuration"
  96   data-sets:
  97     plot-vpp-http-server-performance:
  98       csit-vpp-perf-1804-all:
  99       - 39  # wrk
 100       - 40  # wrk
 101       - 41  # wrk
 102       - 42  # wrk
 103       - 43  # wrk
 104       - 44  # wrk
 105       - 45  # wrk
 106       - 46  # wrk
 107       - 47  # wrk
 108       - 48  # wrk
 109 # TODO: Add the data sources
 110 #    vpp-meltdown-impact:
 111 #      csit-vpp-perf-1707-all:
 112 #      - 9
 113 #      - 10
 114 #      - 13
 115 #      csit-vpp-perf-1710-all:
 116 #      - 11l
 117 #      - 12
 118 #      - 13
 119 # TODO: Add the data sources
 120 #    vpp-spectre-impact:
 121 #      csit-vpp-perf-1707-all:
 122 #      - 9
 123 #      - 10
 124 #      - 13
 125 #      csit-vpp-perf-1710-all:
 126 #      - 11
 127 #      - 12
 128 #      - 13
 129     vpp-performance-changes:
 130       csit-vpp-perf-1710-all:
 131       - 11
 132       - 12
 133       - 13
 134       - 14
 135       - 15
 136       - 16
 137       - 17
 138       - 18
 139       - 19
 140       - 20
 141       csit-vpp-perf-1801-all:
 142       - 124  # sel
 143       - 127  # sel
 144       - 128  # sel
 145       - 141  # sel
 146       - 142  # sel
 147       - 143  # sel
 148       - 145  # sel
 149       - 146  # sel
 150       - 162  # sel
 151       - 163  # sel
 152       - 167  # sel
 153       - 172  # sel acl only
 154       csit-vpp-perf-1804-all:
 155       - 21  # sel
 156       - 22  # sel
 157       - 23  # sel
 158       - 24  # sel
 159       - 27  # sel
 160       - 28  # sel
 161       - 29  # sel
 162       - 30  # sel
 163       - 31  # sel
 164       - 35  # sel
 165     vpp-performance-changes-mrr:
 166       csit-vpp-perf-check-1801:
 167       - 3
 168       - 4
 169       - 5
 170       - 6
 171       - 7
 172       - 8
 173       - 9
 174       - 11
 175       - 12
 176       - 13
 177       csit-vpp-perf-check-1804:
 178       - 6   # mrr - sel
 179       - 13  # mrr - sel
 180       - 14  # mrr - sel
 181       - 15  # mrr - sel
 182       - 16  # mrr - sel
 183       - 17  # mrr - sel
 184       - 19  # mrr - sel
 185       - 20  # mrr - sel
 186       - 21  # mrr - sel
 187       - 22  # mrr - sel
 188     plot-throughput-speedup-analysis:
 189       csit-vpp-perf-1804-all:
 190       - 19  # full
 191       - 20  # full
 192       - 25  # full
 193       - 49  # full
 194       - 21  # sel
 195       - 22  # sel
 196       - 23  # sel
 197       - 24  # sel
 198       - 27  # sel
 199       - 28  # sel
 200       - 29  # sel
 201       - 30  # sel
 202       - 31  # sel
 203       - 35  # sel
 204     plot-ligato-throughput-speedup-analysis:
 205       csit-ligato-perf-1804-all:
 206       - 5   # sel
 207       - 6   # sel
 208       - 7   # sel
 209       - 8   # sel
 210       - 9   # sel
 211       - 10  # sel
 212       - 11  # sel
 213       - 12  # sel
 214       - 13  # sel
 215       - 14  # sel
 216 #    performance-improvements:
 217 #      csit-vpp-perf-1707-all:
 218 #      - 9
 219 #      - 10
 220 #      - 13
 221 #      - 14
 222 #      - 15
 223 #      - 16
 224 #      - 17
 225 #      - 18
 226 #      - 19
 227 #      - 21
 228 #      csit-vpp-perf-1710-all:
 229 #      - 11
 230 #      - 12
 231 #      - 13
 232 #      - 14
 233 #      - 15
 234 #      - 16
 235 #      - 17
 236 #      - 18
 237 #      - 19
 238 #      - 20
 239 #      csit-vpp-perf-1801-all:
 240 #      - 124
 241 #      - 127
 242 #      - 128
 243 #      csit-ligato-perf-1710-all:
 244 #      - 5
 245 #      - 7
 246 #      - 8
 247 #      - 9
 248 #      - 10
 249 #      - 11
 250 #      - 12
 251 #      - 13
 252 #      - 16
 253 #      - 17
 254 #      csit-ligato-perf-1801-all:
 255 #      - 16  # sel
 256 #      - 17  # sel
 257 #      - 18  # sel
 258 #      - 19  # sel
 259 #      - 20  # sel
 260 #      - 21  # sel
 261 #      - 22  # sel
 262 #      - 23  # sel
 263 #      - 24  # sel
 264     vpp-perf-results:
 265       csit-vpp-perf-1804-all:
 266       - 19  # full
 267       - 20  # full
 268       - 25  # full
 269       - 49  # full
 270     vpp-func-results:
 271       csit-vpp-functional-1804-ubuntu1604-virl:
 272       - 229
 273     vpp-func-results-centos:
 274       csit-vpp-functional-1804-centos7-virl:
 275       - 238
 276     vpp-mrr-results:
 277       csit-vpp-perf-check-1804:
 278       - 5   # mrr - full
 279     ligato-perf-results:
 280       csit-ligato-perf-1804-all:
 281       - 4  # full
 282     dpdk-perf-results:
 283       csit-dpdk-perf-1804-all:
 284       - 13
 285     hc-func-results:
 286       csit-hc2vpp-verify-func-1804-ubuntu1604:
 287       - 3
 288     nsh-func-results:
 289       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 290       - 7
 291     plot-vpp-throughput-latency:
 292       csit-vpp-perf-1804-all:
 293       - 19  # full
 294       - 20  # full
 295       - 25  # full
 296       - 49  # full
 297       - 21  # sel
 298       - 22  # sel
 299       - 23  # sel
 300       - 24  # sel
 301       - 27  # sel
 302       - 28  # sel
 303       - 29  # sel
 304       - 30  # sel
 305       - 31  # sel
 306       - 35  # sel
 307     plot-dpdk-throughput-latency:
 308       csit-dpdk-perf-1804-all:
 309       - 4
 310       - 5
 311       - 6
 312       - 7
 313       - 8
 314       - 9
 315       - 10
 316       - 11
 317       - 12
 318       - 13
 319     plot-ligato-throughput-latency:
 320       csit-ligato-perf-1804-all:
 321       - 5   # sel
 322       - 6   # sel
 323       - 7   # sel
 324       - 8   # sel
 325       - 9   # sel
 326       - 10  # sel
 327       - 11  # sel
 328       - 12  # sel
 329       - 13  # sel
 330       - 14  # sel
 331
 332   plot-layouts:
 333
 334     plot-cps:
 335       xaxis:
 336         autorange: True
 337         autotick: False
 338         fixedrange: False
 339         gridcolor: "rgb(238, 238, 238)"
 340         linecolor: "rgb(238, 238, 238)"
 341         linewidth: 1
 342         showgrid: True
 343         showline: True
 344         showticklabels: True
 345         tickcolor: "rgb(238, 238, 238)"
 346         tickmode: "linear"
 347         title: "Indexed Test Cases"
 348         zeroline: False
 349       yaxis:
 350         gridcolor: "rgb(238, 238, 238)'"
 351         hoverformat: ".4s"
 352         linecolor: "rgb(238, 238, 238)"
 353         linewidth: 1
 354         range: []
 355         rangemode: "tozero"
 356         showgrid: True
 357         showline: True
 358         showticklabels: True
 359         tickcolor: "rgb(238, 238, 238)"
 360         title: "Connections Per Second [cps]"
 361         zeroline: False
 362       boxmode: "group"
 363       boxgroupgap: 0.5
 364       autosize: False
 365       margin:
 366         t: 50
 367         b: 20
 368         l: 50
 369         r: 20
 370       showlegend: True
 371       legend:
 372         orientation: "h"
 373       width: 700
 374       height: 1000
 375
 376     plot-rps:
 377       xaxis:
 378         autorange: True
 379         autotick: False
 380         fixedrange: False
 381         gridcolor: "rgb(238, 238, 238)"
 382         linecolor: "rgb(238, 238, 238)"
 383         linewidth: 1
 384         showgrid: True
 385         showline: True
 386         showticklabels: True
 387         tickcolor: "rgb(238, 238, 238)"
 388         tickmode: "linear"
 389         title: "Indexed Test Cases"
 390         zeroline: False
 391       yaxis:
 392         gridcolor: "rgb(238, 238, 238)'"
 393         hoverformat: ".4s"
 394         linecolor: "rgb(238, 238, 238)"
 395         linewidth: 1
 396         range: []
 397         rangemode: "tozero"
 398         showgrid: True
 399         showline: True
 400         showticklabels: True
 401         tickcolor: "rgb(238, 238, 238)"
 402         title: "Requests Per Second [rps]"
 403         zeroline: False
 404       boxmode: "group"
 405       boxgroupgap: 0.5
 406       autosize: False
 407       margin:
 408         t: 50
 409         b: 20
 410         l: 50
 411         r: 20
 412       showlegend: True
 413       legend:
 414         orientation: "h"
 415       width: 700
 416       height: 1000
 417
 418     plot-throughput:
 419       xaxis:
 420         autorange: True
 421         autotick: False
 422         fixedrange: False
 423         gridcolor: "rgb(238, 238, 238)"
 424         linecolor: "rgb(238, 238, 238)"
 425         linewidth: 1
 426         showgrid: True
 427         showline: True
 428         showticklabels: True
 429         tickcolor: "rgb(238, 238, 238)"
 430         tickmode: "linear"
 431         title: "Indexed Test Cases"
 432         zeroline: False
 433       yaxis:
 434         gridcolor: "rgb(238, 238, 238)'"
 435         hoverformat: ".4s"
 436         linecolor: "rgb(238, 238, 238)"
 437         linewidth: 1
 438         range: []
 439         showgrid: True
 440         showline: True
 441         showticklabels: True
 442         tickcolor: "rgb(238, 238, 238)"
 443         title: "Packets Per Second [pps]"
 444         zeroline: False
 445       boxmode: "group"
 446       boxgroupgap: 0.5
 447       autosize: False
 448       margin:
 449         t: 50
 450         b: 20
 451         l: 50
 452         r: 20
 453       showlegend: True
 454       legend:
 455         orientation: "h"
 456       width: 700
 457       height: 1000
 458
 459     plot-latency:
 460       xaxis:
 461         autorange: True
 462         autotick: False
 463         fixedrange: False
 464         gridcolor: "rgb(238, 238, 238)"
 465         linecolor: "rgb(238, 238, 238)"
 466         linewidth: 1
 467         showgrid: True
 468         showline: True
 469         showticklabels: True
 470         tickcolor: "rgb(238, 238, 238)"
 471         tickmode: "linear"
 472         title: "Indexed Test Cases"
 473         zeroline: False
 474       yaxis:
 475         gridcolor: "rgb(238, 238, 238)'"
 476         hoverformat: ""
 477         linecolor: "rgb(238, 238, 238)"
 478         linewidth: 1
 479         range: []
 480         showgrid: True
 481         showline: True
 482         showticklabels: True
 483         tickcolor: "rgb(238, 238, 238)"
 484         title: "Latency min/avg/max [uSec]"
 485         zeroline: False
 486       boxmode: "group"
 487       boxgroupgap: 0.5
 488       autosize: False
 489       margin:
 490         t: 50
 491         b: 20
 492         l: 50
 493         r: 20
 494       showlegend: True
 495       legend:
 496         orientation: "h"
 497       width: 700
 498       height: 1000
 499
 500     plot-throughput-speedup-analysis:
 501       xaxis:
 502         autorange: True
 503         autotick: False
 504         fixedrange: False
 505         gridcolor: "rgb(238, 238, 238)"
 506         linecolor: "rgb(238, 238, 238)"
 507         linewidth: 1
 508         showgrid: True
 509         showline: True
 510         showticklabels: True
 511         tickcolor: "rgb(238, 238, 238)"
 512         tickmode: "linear"
 513         tickangle: 270
 514         zeroline: False
 515       yaxis:
 516         title: "Throughput speedup factor"
 517         gridcolor: "rgb(238, 238, 238)"
 518         hoverformat: ".4s"
 519         linecolor: "rgb(238, 238, 238)"
 520         linewidth: 1
 521         range: []
 522         showgrid: True
 523         showline: True
 524         showticklabels: True
 525         tickcolor: "rgb(238, 238, 238)"
 526         zeroline: False
 527       legend:
 528         orientation: "h"
 529         xanchor: "center"
 530         yanchor: "top"
 531         x: 0.5
 532         y: 1
 533         bgcolor: "rgba(255, 255, 255, 0)"
 534         bordercolor: "rgba(255, 255, 255, 0)"
 535       barmode: "group"
 536       bargap: 0.15
 537       bargroupgap: 0.1
 538       autosize: False
 539       margin:
 540           't': 50
 541           'b': 300
 542           'l': 50
 543           'r': 20
 544       showlegend: True
 545       width: 700
 546       height: 1000
 547
 548 -
 549   type: "debug"
 550   general:
 551     input-format: "xml"  # zip or xml
 552     extract: "robot-plugin/output.xml"  # Only for zip
 553   builds:
 554     # The files must be in the directory DIR[WORKING,DATA]
 555     csit-vpp-perf-1801-all:
 556     -
 557       build: 1
 558       file: "{DIR[WORKING,DATA]}/output.xml"
 559     -
 560       build: 2
 561       file: "{DIR[WORKING,DATA]}/output.xml"
 562     -
 563       build: 3
 564       file: "{DIR[WORKING,DATA]}/output.xml"
 565     -
 566       build: 4
 567       file: "{DIR[WORKING,DATA]}/output.xml"
 568
 569 -
 570   type: "static"
 571   src-path: "{DIR[RST]}"
 572   dst-path: "{DIR[WORKING,SRC]}"
 573
 574 -
 575   type: "input"  # Ignored in debug mode
 576   general:
 577     file-name: "robot-plugin.zip"
 578     file-format: ".zip"
 579     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 580     extract: "robot-plugin/output.xml"
 581   builds:
 582 #    csit-vpp-perf-1707-all:
 583 #    - 9
 584 #    - 10
 585 #    - 13
 586 #    - 14
 587 #    - 15
 588 #    - 16
 589 #    - 17
 590 #    - 18
 591 #    - 19
 592 #    - 21
 593     csit-vpp-perf-1710-all:
 594     - 11
 595     - 12
 596     - 13
 597     - 14
 598     - 15
 599     - 16
 600     - 17
 601     - 18
 602     - 19
 603     - 20
 604     csit-vpp-perf-1801-all:
 605 #    - 122  # full
 606 #    - 126  # full
 607 #    - 129  # full
 608 #    - 140  # full
 609     - 124  # sel
 610     - 127  # sel
 611     - 128  # sel
 612     - 141  # sel
 613     - 142  # sel
 614     - 143  # sel
 615     - 145  # sel
 616     - 146  # sel
 617     - 162  # sel
 618     - 163  # sel
 619     - 167  # sel
 620     - 172  # sel acl only
 621     csit-vpp-perf-1804-all:
 622     - 19  # full
 623     - 20  # full
 624     - 25  # full
 625     - 49  # full
 626     - 21  # sel
 627     - 22  # sel
 628     - 23  # sel
 629     - 24  # sel
 630     - 27  # sel
 631     - 28  # sel
 632     - 29  # sel
 633     - 30  # sel
 634     - 31  # sel
 635     - 35  # sel
 636     - 39  # wrk
 637     - 40  # wrk
 638     - 41  # wrk
 639     - 42  # wrk
 640     - 43  # wrk
 641     - 44  # wrk
 642     - 45  # wrk
 643     - 46  # wrk
 644     - 47  # wrk
 645     - 48  # wrk
 646     csit-vpp-perf-check-1801:
 647     - 3   # mrr
 648     - 4   # mrr
 649     - 5   # mrr
 650     - 6   # mrr
 651     - 7   # mrr
 652     - 8   # mrr
 653     - 9   # mrr
 654     - 11  # mrr
 655     - 12  # mrr
 656     - 13  # mrr
 657     csit-vpp-perf-check-1804:
 658     - 5   # mrr - full
 659     - 6   # mrr - sel
 660     - 13  # mrr - sel
 661     - 14  # mrr - sel
 662     - 15  # mrr - sel
 663     - 16  # mrr - sel
 664     - 17  # mrr - sel
 665     - 19  # mrr - sel
 666     - 20  # mrr - sel
 667     - 21  # mrr - sel
 668     - 22  # mrr - sel
 669 #    csit-ligato-perf-1710-all:
 670 #    - 5
 671 #    - 7
 672 #    - 8
 673 #    - 9
 674 #    - 10
 675 #    - 11
 676 #    - 12
 677 #    - 13
 678 #    - 16
 679 #    - 17
 680 #    csit-ligato-perf-1801-all:
 681 #    - 16  # sel
 682 #    - 17  # sel
 683 #    - 18  # sel
 684 #    - 19  # sel
 685 #    - 20  # sel
 686 #    - 21  # sel
 687 #    - 22  # sel
 688 #    - 23  # sel
 689 #    - 24  # sel
 690 #    - 25  # full
 691     csit-ligato-perf-1804-all:
 692     - 4   # full
 693     - 5   # sel
 694     - 6   # sel
 695     - 7   # sel
 696     - 8   # sel
 697     - 9   # sel
 698     - 10  # sel
 699     - 11  # sel
 700     - 12  # sel
 701     - 13  # sel
 702     - 14  # sel
 703     csit-dpdk-perf-1804-all:
 704     - 4
 705     - 5
 706     - 6
 707     - 7
 708     - 8
 709     - 9
 710     - 10
 711     - 11
 712     - 12
 713     - 13
 714     csit-vpp-functional-1804-ubuntu1604-virl:
 715     - 229
 716     csit-vpp-functional-1804-centos7-virl:
 717     - 238
 718     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 719     - 7
 720     csit-hc2vpp-verify-func-1804-ubuntu1604:
 721     - 3
 722
 723 -
 724   type: "output"
 725   output: "report"
 726   format:
 727     html:
 728     - full
 729     pdf:
 730     - minimal
 731
 732 ################################################################################
 733 ###                               T A B L E S                                ###
 734 ################################################################################
 735
 736 #-
 737 #  type: "table"
 738 #  title: "Performance Impact of Meltdown Patches"
 739 #  algorithm: "table_performance_comparison"
 740 #  output-file-ext: ".csv"
 741 ## TODO: specify dir
 742 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 743 #  reference:
 744 #    title: "No Meltdown"
 745 ## TODO: specify data sources
 746 #    data:
 747 #      csit-vpp-perf-1707-all:
 748 #      - 9
 749 #      - 10
 750 #      - 13
 751 #  compare:
 752 #    title: "Meltdown Patches Applied"
 753 ## TODO: specify data sources
 754 #    data:
 755 #      csit-vpp-perf-1710-all:
 756 #      - 11
 757 #      - 12
 758 #      - 13
 759 #  data:
 760 #    "vpp-meltdown-impact"
 761 #  filter: "all"
 762 #  parameters:
 763 #  - "name"
 764 #  - "parent"
 765 #  - "throughput"
 766 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 767 #  # to present all tests.
 768 #  nr-of-tests-shown: 20
 769 #
 770 #-
 771 #  type: "table"
 772 #  title: "Performance Impact of Spectre Patches"
 773 #  algorithm: "table_performance_comparison"
 774 #  output-file-ext: ".csv"
 775 ## TODO: specify dir
 776 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 777 #  reference:
 778 #    title: "No Spectre"
 779 ## TODO: specify data sources
 780 #    data:
 781 #      csit-vpp-perf-1707-all:
 782 #      - 9
 783 #      - 10
 784 #      - 13
 785 #  compare:
 786 #    title: "Spectre Patches Applied"
 787 ## TODO: specify data sources
 788 #    data:
 789 #      csit-vpp-perf-1710-all:
 790 #      - 11
 791 #      - 12
 792 #      - 13
 793 #  data:
 794 #    "vpp-spectre-impact"
 795 #  filter: "all"
 796 #  parameters:
 797 #  - "name"
 798 #  - "parent"
 799 #  - "throughput"
 800 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 801 #  # to present all tests.
 802 #  nr-of-tests-shown: 20
 803
 804 -
 805   type: "table"
 806   title: "VPP Performance Changes"
 807   algorithm: "table_performance_comparison"
 808   output-file-ext: ".csv"
 809   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 810   history:
 811     -
 812       title: "rls1710"
 813       data:
 814         csit-vpp-perf-1710-all:
 815         - 11
 816         - 12
 817         - 13
 818         - 14
 819         - 15
 820         - 16
 821         - 17
 822         - 18
 823         - 19
 824         - 20
 825   reference:
 826     title: "rls1801"
 827     data:
 828       csit-vpp-perf-1801-all:
 829       - 124  # sel
 830       - 127  # sel
 831       - 128  # sel
 832       - 141  # sel
 833       - 142  # sel
 834       - 143  # sel
 835       - 145  # sel
 836       - 146  # sel
 837       - 162  # sel
 838       - 163  # sel
 839       - 167  # sel
 840       - 172  # sel acl only
 841   compare:
 842     title: "rls1804"
 843     data:
 844       csit-vpp-perf-1804-all:
 845       - 21  # sel
 846       - 22  # sel
 847       - 23  # sel
 848       - 24  # sel
 849       - 27  # sel
 850       - 28  # sel
 851       - 29  # sel
 852       - 30  # sel
 853       - 31  # sel
 854       - 35  # sel
 855   data: "vpp-performance-changes"
 856   filter: "all"
 857   parameters:
 858   - "name"
 859   - "parent"
 860   - "throughput"
 861   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 862   # to present all tests.
 863   nr-of-tests-shown: 20
 864   outlier-const: 1.5
 865
 866 -
 867   type: "table"
 868   title: "VPP Performance Changes - MRR"
 869   algorithm: "table_performance_comparison_mrr"
 870   output-file-ext: ".csv"
 871   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 872   reference:
 873     title: "Release 1801"
 874     data:
 875       csit-vpp-perf-check-1801:
 876       - 3
 877       - 4
 878       - 5
 879       - 6
 880       - 7
 881       - 8
 882       - 9
 883       - 11
 884       - 12
 885       - 13
 886   compare:
 887     title: "Release 1804"
 888     data:
 889       csit-vpp-perf-check-1804:
 890       - 6   # mrr - sel
 891       - 13  # mrr - sel
 892       - 14  # mrr - sel
 893       - 15  # mrr - sel
 894       - 16  # mrr - sel
 895       - 17  # mrr - sel
 896       - 19  # mrr - sel
 897       - 20  # mrr - sel
 898       - 21  # mrr - sel
 899       - 22  # mrr - sel
 900   data: "vpp-performance-changes-mrr"
 901   filter: "all"
 902   parameters:
 903   - "name"
 904   - "parent"
 905   - "result"
 906   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 907   # to present all tests.
 908   nr-of-tests-shown: 20
 909   outlier-const: 1.5
 910
 911 #-
 912 #  type: "table"
 913 #  title: "Performance improvements"
 914 #  algorithm: "table_performance_improvements"
 915 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 916 #  output-file-ext: ".csv"
 917 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 918 #  columns:
 919 #  -
 920 #    title: "Test Name"
 921 #    data: "template 1"
 922 #  -
 923 #    title: "16.09 mean [Mpps]"
 924 #    data: "template 2"
 925 #  -
 926 #    title: "17.01 mean [Mpps]"
 927 #    data: "template 3"
 928 #  -
 929 #    title: "17.04 mean [Mpps]"
 930 #    data: "template 4"
 931 #  -
 932 #    title: "17.07 mean [Mpps]"
 933 #    data: "data csit-vpp-perf-1707-all mean"
 934 #  -
 935 #    title: "17.10 mean [Mpps]"
 936 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 937 #  -
 938 #    title: "18.01 mean [Mpps]"
 939 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 940 #  -
 941 #    title: "18.01 stdev [Mpps]"
 942 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 943 #  -
 944 #    title: "17.10 to 18.01 change [%]"
 945 #    data: "operation relative_change 5 6"
 946 #  rows: "generated"
 947 #  data:
 948 #    "performance-improvements"
 949 #  filter: "template"
 950 #  parameters:
 951 #  - "throughput"
 952
 953 -
 954   type: "table"
 955   title: "Detailed Test Results - VPP Performance Results"
 956   algorithm: "table_merged_details"
 957   output-file-ext: ".csv"
 958   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 959   columns:
 960   -
 961     title: "Name"
 962     data: "data name"
 963   -
 964     title: "Documentation"
 965     data: "data doc"
 966   -
 967     title: "Status"
 968     data: "data msg"
 969   rows: "generated"
 970   data:
 971     "vpp-perf-results"
 972   filter: "not 'NDRCHK' and not 'PDRCHK'"
 973   parameters:
 974   - "name"
 975   - "parent"
 976   - "doc"
 977   - "msg"
 978
 979 -
 980   type: "table"
 981   title: "Test configuration - VPP Performance Test Configs"
 982   algorithm: "table_merged_details"
 983   output-file-ext: ".csv"
 984   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 985   columns:
 986   -
 987     title: "Name"
 988     data: "data name"
 989   -
 990     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 991     data: "data vat-history"
 992   rows: "generated"
 993   data:
 994     "vpp-perf-results"
 995   filter: "not 'NDRCHK' and not 'PDRCHK'"
 996   parameters:
 997   - "parent"
 998   - "name"
 999   - "vat-history"
1000
1001 -
1002   type: "table"
1003   title: "Test Operational Data - VPP Performance Operational Data"
1004   algorithm: "table_merged_details"
1005   output-file-ext: ".csv"
1006   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
1007   columns:
1008   -
1009     title: "Name"
1010     data: "data name"
1011   -
1012     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1013     data: "data show-run"
1014   rows: "generated"
1015   data:
1016     "vpp-perf-results"
1017   filter: "not 'NDRCHK' and not 'PDRCHK'"
1018   parameters:
1019   - "parent"
1020   - "name"
1021   - "show-run"
1022
1023 -
1024   type: "table"
1025   title: "Detailed Test Results - VPP MRR Results"
1026   algorithm: "table_details"
1027   output-file-ext: ".csv"
1028   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1029   columns:
1030   -
1031     title: "Name"
1032     data: "data name"
1033   -
1034     title: "Documentation"
1035     data: "data doc"
1036   -
1037     title: "Status"
1038     data: "data msg"
1039   rows: "generated"
1040   data:
1041     "vpp-mrr-results"
1042   filter: "'MRR'"
1043   parameters:
1044   - "name"
1045   - "parent"
1046   - "doc"
1047   - "msg"
1048
1049 -
1050   type: "table"
1051   title: "Test configuration - VPP MRR Test Configs"
1052   algorithm: "table_details"
1053   output-file-ext: ".csv"
1054   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_test_configuration"
1055   columns:
1056   -
1057     title: "Name"
1058     data: "data name"
1059   -
1060     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1061     data: "data vat-history"
1062   rows: "generated"
1063   data:
1064     "vpp-mrr-results"
1065   filter: "'MRR'"
1066   parameters:
1067   - "parent"
1068   - "name"
1069   - "vat-history"
1070
1071 -
1072   type: "table"
1073   title: "Detailed Test Results - VPP Functional Results"
1074   algorithm: "table_details"
1075   output-file-ext: ".csv"
1076   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1077   columns:
1078   -
1079     title: "Name"
1080     data: "data name"
1081   -
1082     title: "Documentation"
1083     data: "data doc"
1084   -
1085     title: "Status"
1086     data: "data status"
1087   rows: "generated"
1088   data:
1089     "vpp-func-results"
1090   filter: "all"
1091   parameters:
1092   - "name"
1093   - "parent"
1094   - "doc"
1095   - "status"
1096
1097 -
1098   type: "table"
1099   title: "Detailed Test Results - VPP Functional Results - CentOS"
1100   algorithm: "table_details"
1101   output-file-ext: ".csv"
1102   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1103   columns:
1104   -
1105     title: "Name"
1106     data: "data name"
1107   -
1108     title: "Documentation"
1109     data: "data doc"
1110   -
1111     title: "Status"
1112     data: "data status"
1113   rows: "generated"
1114   data:
1115     "vpp-func-results-centos"
1116   filter: "all"
1117   parameters:
1118   - "name"
1119   - "parent"
1120   - "doc"
1121   - "status"
1122
1123 -
1124   type: "table"
1125   title: "Test configuration - VPP Functional Test Configs"
1126   algorithm: "table_details"
1127   output-file-ext: ".csv"
1128   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1129   columns:
1130   -
1131     title: "Name"
1132     data: "data name"
1133   -
1134     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1135     data: "data vat-history"
1136   rows: "generated"
1137   data:
1138     "vpp-func-results"
1139   filter: "all"
1140   parameters:
1141   - "parent"
1142   - "name"
1143   - "vat-history"
1144
1145 -
1146   type: "table"
1147   title: "Test configuration - VPP Functional Test Configs - CentOS"
1148   algorithm: "table_details"
1149   output-file-ext: ".csv"
1150   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1151   columns:
1152   -
1153     title: "Name"
1154     data: "data name"
1155   -
1156     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1157     data: "data vat-history"
1158   rows: "generated"
1159   data:
1160     "vpp-func-results-centos"
1161   filter: "all"
1162   parameters:
1163   - "parent"
1164   - "name"
1165   - "vat-history"
1166
1167 -
1168   type: "table"
1169   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1170   algorithm: "table_details"
1171   output-file-ext: ".csv"
1172   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1173   columns:
1174   -
1175     title: "Name"
1176     data: "data name"
1177   -
1178     title: "Documentation"
1179     data: "data doc"
1180   -
1181     title: "Status"
1182     data: "data msg"
1183   rows: "generated"
1184   data:
1185     "ligato-perf-results"
1186   filter: "all"
1187   parameters:
1188   - "name"
1189   - "parent"
1190   - "doc"
1191   - "msg"
1192
1193 -
1194   type: "table"
1195   title: "Detailed Test Results - DPDK Performance Results"
1196   algorithm: "table_details"
1197   output-file-ext: ".csv"
1198   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1199   columns:
1200   -
1201     title: "Name"
1202     data: "data name"
1203   -
1204     title: "Documentation"
1205     data: "data doc"
1206   -
1207     title: "Status"
1208     data: "data msg"
1209   rows: "generated"
1210   data:
1211     "dpdk-perf-results"
1212   filter: "all"
1213   parameters:
1214   - "name"
1215   - "parent"
1216   - "doc"
1217   - "msg"
1218
1219 -
1220   type: "table"
1221   title: "Detailed Test Results - Honeycomb Functional Results"
1222   algorithm: "table_details"
1223   output-file-ext: ".csv"
1224   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1225   columns:
1226   -
1227     title: "Name"
1228     data: "data name"
1229   -
1230     title: "Documentation"
1231     data: "data doc"
1232   -
1233     title: "Status"
1234     data: "data status"
1235   rows: "generated"
1236   data:
1237     "hc-func-results"
1238   filter: "all"
1239   parameters:
1240   - "name"
1241   - "parent"
1242   - "doc"
1243   - "status"
1244
1245 -
1246   type: "table"
1247   title: "Detailed Test Results - NSH SFC Functional Results"
1248   algorithm: "table_details"
1249   output-file-ext: ".csv"
1250   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1251   columns:
1252   -
1253     title: "Name"
1254     data: "data name"
1255   -
1256     title: "Documentation"
1257     data: "data doc"
1258   -
1259     title: "Status"
1260     data: "data status"
1261   rows: "generated"
1262   data:
1263     "nsh-func-results"
1264   filter: "all"
1265   parameters:
1266   - "name"
1267   - "parent"
1268   - "doc"
1269   - "status"
1270
1271 ################################################################################
1272 ###                                F I L E S                                 ###
1273 ################################################################################
1274
1275 -
1276   type: "file"
1277   title: "VPP Performance Results"
1278   algorithm: "file_merged_test_results"
1279   output-file-ext: ".rst"
1280   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1281   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1282   dir-tables: "{DIR[DTR,PERF,VPP]}"
1283   data:
1284     "vpp-perf-results"
1285   filter: "not 'NDRCHK' and not 'PDRCHK'"
1286   parameters:
1287   - "name"
1288   - "doc"
1289   - "level"
1290   - "parent"
1291   data-start-level: 3  # 0, 1, 2, ...
1292   chapters-start-level: 2  # 0, 1, 2, ...
1293
1294 -
1295   type: "file"
1296   title: "VPP Performance Configuration"
1297   algorithm: "file_merged_test_results"
1298   output-file-ext: ".rst"
1299   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1300   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1301   dir-tables: "{DIR[DTC,PERF,VPP]}"
1302   data:
1303     "vpp-perf-results"
1304   filter: "not 'NDRCHK' and not 'PDRCHK'"
1305   parameters:
1306   - "name"
1307   - "doc"
1308   - "level"
1309   - "parent"
1310   data-start-level: 3  # 0, 1, 2, ...
1311   chapters-start-level: 2  # 0, 1, 2, ...
1312
1313 -
1314   type: "file"
1315   title: "VPP Performance Operational Data"
1316   algorithm: "file_merged_test_results"
1317   output-file-ext: ".rst"
1318   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1319   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1320   dir-tables: "{DIR[DTO,PERF,VPP]}"
1321   data:
1322     "vpp-perf-results"
1323   filter: "not 'NDRCHK' and not 'PDRCHK'"
1324   parameters:
1325   - "name"
1326   - "doc"
1327   - "level"
1328   - "parent"
1329   data-start-level: 3  # 0, 1, 2, ...
1330   chapters-start-level: 2  # 0, 1, 2, ...
1331
1332 -
1333   type: "file"
1334   title: "VPP MRR Results"
1335   algorithm: "file_test_results"
1336   output-file-ext: ".rst"
1337   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1338   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1339   dir-tables: "{DIR[DTR,MRR,VPP]}"
1340   data:
1341     "vpp-mrr-results"
1342   filter: "'MRR'"
1343   parameters:
1344   - "name"
1345   - "doc"
1346   - "level"
1347   - "parent"
1348   data-start-level: 2  # 0, 1, 2, ...
1349   chapters-start-level: 2  # 0, 1, 2, ...
1350
1351 -
1352   type: "file"
1353   title: "VPP MRR Configuration"
1354   algorithm: "file_test_results"
1355   output-file-ext: ".rst"
1356   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_configuration"
1357   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1358   dir-tables: "{DIR[DTC,MRR,VPP]}"
1359   data:
1360     "vpp-mrr-results"
1361   filter: "'MRR'"
1362   parameters:
1363   - "name"
1364   - "doc"
1365   - "level"
1366   - "parent"
1367   data-start-level: 2  # 0, 1, 2, ...
1368   chapters-start-level: 2  # 0, 1, 2, ...
1369
1370 -
1371   type: "file"
1372   title: "VPP Functional Results"
1373   algorithm: "file_test_results"
1374   output-file-ext: ".rst"
1375   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1376   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1377   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1378   data:
1379     "vpp-func-results"
1380   filter: "all"
1381   parameters:
1382   - "name"
1383   - "doc"
1384   - "level"
1385   data-start-level: 3  # 0, 1, 2, ...
1386   chapters-start-level: 2  # 0, 1, 2, ...
1387
1388 -
1389   type: "file"
1390   title: "VPP Functional Results - CentOS"
1391   algorithm: "file_test_results"
1392   output-file-ext: ".rst"
1393   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1394   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1395   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1396   data:
1397     "vpp-func-results-centos"
1398   filter: "all"
1399   parameters:
1400   - "name"
1401   - "doc"
1402   - "level"
1403   data-start-level: 3  # 0, 1, 2, ...
1404   chapters-start-level: 2  # 0, 1, 2, ...
1405
1406 -
1407   type: "file"
1408   title: "VPP Functional Configuration"
1409   algorithm: "file_test_results"
1410   output-file-ext: ".rst"
1411   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1412   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1413   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1414   data:
1415     "vpp-func-results"
1416   filter: "all"
1417   parameters:
1418   - "name"
1419   - "doc"
1420   - "level"
1421   data-start-level: 3  # 0, 1, 2, ...
1422   chapters-start-level: 2  # 0, 1, 2, ...
1423
1424 -
1425   type: "file"
1426   title: "VPP Functional Configuration - CentOS"
1427   algorithm: "file_test_results"
1428   output-file-ext: ".rst"
1429   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1430   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1431   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1432   data:
1433     "vpp-func-results-centos"
1434   filter: "all"
1435   parameters:
1436   - "name"
1437   - "doc"
1438   - "level"
1439   data-start-level: 3  # 0, 1, 2, ...
1440   chapters-start-level: 2  # 0, 1, 2, ...
1441
1442 -
1443   type: "file"
1444   title: "Container Orchestrated Performance Results"
1445   algorithm: "file_test_results"
1446   output-file-ext: ".rst"
1447   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1448   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1449   dir-tables: "{DIR[DTR,PERF,COT]}"
1450   data:
1451     "ligato-perf-results"
1452   filter: "all"
1453   parameters:
1454   - "name"
1455   - "doc"
1456   - "level"
1457   data-start-level: 2  # 0, 1, 2, ...
1458   chapters-start-level: 2  # 0, 1, 2, ...
1459
1460 -
1461   type: "file"
1462   title: "DPDK Performance Results"
1463   algorithm: "file_test_results"
1464   output-file-ext: ".rst"
1465   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1466   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1467   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1468   data:
1469     "dpdk-perf-results"
1470   filter: "all"
1471   parameters:
1472   - "name"
1473   - "doc"
1474   - "level"
1475   chapters:
1476   - "suites"
1477   data-start-level: 2  # 0, 1, 2, ...
1478   chapters-start-level: 2  # 0, 1, 2, ...
1479
1480 -
1481   type: "file"
1482   title: "Honeycomb Functional Results"
1483   algorithm: "file_test_results"
1484   output-file-ext: ".rst"
1485   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1486   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1487   dir-tables: "{DIR[DTR,FUNC,HC]}"
1488   data:
1489     "hc-func-results"
1490   filter: "all"
1491   parameters:
1492   - "name"
1493   - "doc"
1494   - "level"
1495   chapters:
1496   - "suites"
1497   data-start-level: 3  # 0, 1, 2, ...
1498   chapters-start-level: 2  # 0, 1, 2, ...
1499
1500 -
1501   type: "file"
1502   title: "NSH SFC Functional Results"
1503   algorithm: "file_test_results"
1504   output-file-ext: ".rst"
1505   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1506   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1507   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1508   data:
1509     "nsh-func-results"
1510   filter: "all"
1511   parameters:
1512   - "name"
1513   - "doc"
1514   - "level"
1515   chapters:
1516   - "suites"
1517   data-start-level: 2  # 0, 1, 2, ...
1518   chapters-start-level: 2  # 0, 1, 2, ...
1519
1520 ################################################################################
1521 ###                                P L O T S                                 ###
1522 ################################################################################
1523
1524 # Plots VPP HTTP Server Performance
1525 -
1526   type: "plot"
1527   title: "VPP HTTP Server Performance"
1528   algorithm: "plot_http_server_performance_box"
1529   output-file-type: ".html"
1530   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1531   data:
1532     "plot-vpp-http-server-performance"
1533   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1534   # each tag is enclosed with ' (apostrophe).
1535   filter: "'HTTP' and 'TCP_CPS'"
1536   parameters:
1537   - "result"
1538   - "name"
1539   traces:
1540     hoverinfo: "x+y"
1541     boxpoints: "outliers"
1542     whiskerwidth: 0
1543   layout:
1544     title: "VPP HTTP Server Performance"
1545     layout:
1546       "plot-cps"
1547
1548 -
1549   type: "plot"
1550   title: "VPP HTTP Server Performance"
1551   algorithm: "plot_http_server_performance_box"
1552   output-file-type: ".html"
1553   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1554   data:
1555     "plot-vpp-http-server-performance"
1556   filter: "'HTTP' and 'TCP_RPS'"
1557   parameters:
1558   - "result"
1559   - "name"
1560   traces:
1561     hoverinfo: "x+y"
1562     boxpoints: "outliers"
1563     whiskerwidth: 0
1564   layout:
1565     title: "VPP HTTP Server Performance"
1566     layout:
1567       "plot-rps"
1568
1569 # Plot Throughput Speedup Analysis
1570
1571 # L2 - 10ge2p1x520 - NDR
1572 -
1573   type: "plot"
1574   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1575   algorithm: "plot_throughput_speedup_analysis"
1576   output-file-type: ".html"
1577   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1578   data:
1579     "plot-throughput-speedup-analysis"
1580   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1581   parameters:
1582   - "throughput"
1583   - "parent"
1584   - "tags"
1585   layout:
1586     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1587     layout:
1588       "plot-throughput-speedup-analysis"
1589
1590 # L2 - 40ge2p1xl710 - NDR
1591 -
1592   type: "plot"
1593   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1594   algorithm: "plot_throughput_speedup_analysis"
1595   output-file-type: ".html"
1596   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1597   data:
1598     "plot-throughput-speedup-analysis"
1599   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1600   parameters:
1601   - "throughput"
1602   - "parent"
1603   - "tags"
1604   layout:
1605     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1606     layout:
1607       "plot-throughput-speedup-analysis"
1608
1609 # L2 - 10ge2p1x520 - PDR
1610 -
1611   type: "plot"
1612   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1613   algorithm: "plot_throughput_speedup_analysis"
1614   output-file-type: ".html"
1615   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1616   data:
1617     "plot-throughput-speedup-analysis"
1618   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1619   parameters:
1620   - "throughput"
1621   - "parent"
1622   - "tags"
1623   layout:
1624     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1625     layout:
1626       "plot-throughput-speedup-analysis"
1627
1628 # IPv4 - 10ge2p1x520 - NDR
1629 -
1630   type: "plot"
1631   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1632   algorithm: "plot_throughput_speedup_analysis"
1633   output-file-type: ".html"
1634   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1635   data:
1636     "plot-throughput-speedup-analysis"
1637   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1638   parameters:
1639   - "throughput"
1640   - "parent"
1641   - "tags"
1642   layout:
1643     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1644     layout:
1645       "plot-throughput-speedup-analysis"
1646
1647 # IPv4 - 40ge2p1xl710 - NDR
1648 -
1649   type: "plot"
1650   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1651   algorithm: "plot_throughput_speedup_analysis"
1652   output-file-type: ".html"
1653   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1654   data:
1655     "plot-throughput-speedup-analysis"
1656   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1657   parameters:
1658   - "throughput"
1659   - "parent"
1660   - "tags"
1661   layout:
1662     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1663     layout:
1664       "plot-throughput-speedup-analysis"
1665
1666 # IPv4 - 10ge2p1x520 - PDR
1667 -
1668   type: "plot"
1669   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1670   algorithm: "plot_throughput_speedup_analysis"
1671   output-file-type: ".html"
1672   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1673   data:
1674     "plot-throughput-speedup-analysis"
1675   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1676   parameters:
1677   - "throughput"
1678   - "parent"
1679   - "tags"
1680   layout:
1681     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1682     layout:
1683       "plot-throughput-speedup-analysis"
1684
1685 # IPv6 - 10ge2p1x520 - NDR
1686 -
1687   type: "plot"
1688   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1689   algorithm: "plot_throughput_speedup_analysis"
1690   output-file-type: ".html"
1691   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1692   data:
1693     "plot-throughput-speedup-analysis"
1694   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1695   parameters:
1696   - "throughput"
1697   - "parent"
1698   - "tags"
1699   layout:
1700     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1701     layout:
1702       "plot-throughput-speedup-analysis"
1703
1704 # IPv6 - 40ge2p1xl710 - NDR
1705 -
1706   type: "plot"
1707   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1708   algorithm: "plot_throughput_speedup_analysis"
1709   output-file-type: ".html"
1710   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1711   data:
1712     "plot-throughput-speedup-analysis"
1713   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1714   parameters:
1715   - "throughput"
1716   - "parent"
1717   - "tags"
1718   layout:
1719     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1720     layout:
1721       "plot-throughput-speedup-analysis"
1722
1723 # IPv6 - 10ge2p1x520 - PDR
1724 -
1725   type: "plot"
1726   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1727   algorithm: "plot_throughput_speedup_analysis"
1728   output-file-type: ".html"
1729   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1730   data:
1731     "plot-throughput-speedup-analysis"
1732   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1733   parameters:
1734   - "throughput"
1735   - "parent"
1736   - "tags"
1737   layout:
1738     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1739     layout:
1740       "plot-throughput-speedup-analysis"
1741
1742 # SRv6 - 10ge2p1x520 - NDR
1743 -
1744   type: "plot"
1745   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1746   algorithm: "plot_throughput_speedup_analysis"
1747   output-file-type: ".html"
1748   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-srv6-tsa-ndrdisc"
1749   data:
1750     "plot-throughput-speedup-analysis"
1751   filter: "'NIC_Intel-X520-DA2' and '78B' and 'FEATURE' and 'NDRDISC' and 'IP6FWD' and 'SRv6'"
1752   parameters:
1753   - "throughput"
1754   - "parent"
1755   - "tags"
1756   layout:
1757     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1758     layout:
1759       "plot-throughput-speedup-analysis"
1760
1761 # SRv6 - 10ge2p1x520 - PDR
1762 -
1763   type: "plot"
1764   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1765   algorithm: "plot_throughput_speedup_analysis"
1766   output-file-type: ".html"
1767   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-srv6-tsa-pdrdisc"
1768   data:
1769     "plot-throughput-speedup-analysis"
1770   filter: "'NIC_Intel-X520-DA2' and '78B' and 'FEATURE' and 'PDRDISC' and not 'NDRDISC' and 'IP6FWD' and 'SRv6'"
1771   parameters:
1772   - "throughput"
1773   - "parent"
1774   - "tags"
1775   layout:
1776     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1777     layout:
1778       "plot-throughput-speedup-analysis"
1779
1780 # IP4_overlay - NDR
1781 -
1782   type: "plot"
1783   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1784   algorithm: "plot_throughput_speedup_analysis"
1785   output-file-type: ".html"
1786   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-ndrdisc"
1787   data:
1788     "plot-throughput-speedup-analysis"
1789   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1790   parameters:
1791   - "throughput"
1792   - "parent"
1793   - "tags"
1794   layout:
1795     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1796     layout:
1797       "plot-throughput-speedup-analysis"
1798
1799 # IP4_overlay - PDR
1800 -
1801   type: "plot"
1802   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1803   algorithm: "plot_throughput_speedup_analysis"
1804   output-file-type: ".html"
1805   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-pdrdisc"
1806   data:
1807     "plot-throughput-speedup-analysis"
1808   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1809   parameters:
1810   - "throughput"
1811   - "parent"
1812   - "tags"
1813   layout:
1814     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1815     layout:
1816       "plot-throughput-speedup-analysis"
1817
1818 # IP6_overlay - NDR
1819 -
1820   type: "plot"
1821   title: "TSA: 78B-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1822   algorithm: "plot_throughput_speedup_analysis"
1823   output-file-type: ".html"
1824   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-ndrdisc"
1825   data:
1826     "plot-throughput-speedup-analysis"
1827   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1828   parameters:
1829   - "throughput"
1830   - "parent"
1831   - "tags"
1832   layout:
1833     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1834     layout:
1835       "plot-throughput-speedup-analysis"
1836
1837 # IP6_overlay - PDR
1838 -
1839   type: "plot"
1840   title: "TSA: 78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1841   algorithm: "plot_throughput_speedup_analysis"
1842   output-file-type: ".html"
1843   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-pdrdisc"
1844   data:
1845     "plot-throughput-speedup-analysis"
1846   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1847   parameters:
1848   - "throughput"
1849   - "parent"
1850   - "tags"
1851   layout:
1852     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1853     layout:
1854       "plot-throughput-speedup-analysis"
1855
1856 # VM VHOST - NDR
1857 -
1858   type: "plot"
1859   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1860   algorithm: "plot_throughput_speedup_analysis"
1861   output-file-type: ".html"
1862   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-ndrdisc"
1863   data:
1864     "plot-throughput-speedup-analysis"
1865   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1866   parameters:
1867   - "throughput"
1868   - "parent"
1869   - "tags"
1870   layout:
1871     title: "64B-*-.*vhost.*-ndrdisc"
1872     layout:
1873       "plot-throughput-speedup-analysis"
1874
1875 -
1876   type: "plot"
1877   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1878   algorithm: "plot_throughput_speedup_analysis"
1879   output-file-type: ".html"
1880   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-ndrdisc"
1881   data:
1882     "plot-throughput-speedup-analysis"
1883   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1884   parameters:
1885   - "throughput"
1886   - "parent"
1887   - "tags"
1888   layout:
1889     title: "64B-*-.*vhost.*-ndrdisc"
1890     layout:
1891       "plot-throughput-speedup-analysis"
1892
1893 -
1894   type: "plot"
1895   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1896   algorithm: "plot_throughput_speedup_analysis"
1897   output-file-type: ".html"
1898   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-ndrdisc"
1899   data:
1900     "plot-throughput-speedup-analysis"
1901   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1902   parameters:
1903   - "throughput"
1904   - "parent"
1905   - "tags"
1906   layout:
1907     title: "64B-*-.*vhost.*-ndrdisc"
1908     layout:
1909       "plot-throughput-speedup-analysis"
1910
1911 -
1912   type: "plot"
1913   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1914   algorithm: "plot_throughput_speedup_analysis"
1915   output-file-type: ".html"
1916   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-ndrdisc"
1917   data:
1918     "plot-throughput-speedup-analysis"
1919   filter: "'NIC_Intel-X710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q'"
1920   parameters:
1921   - "throughput"
1922   - "parent"
1923   - "tags"
1924   layout:
1925     title: "64B-*-.*vhost.*-ndrdisc"
1926     layout:
1927       "plot-throughput-speedup-analysis"
1928
1929 -
1930   type: "plot"
1931   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1932   algorithm: "plot_throughput_speedup_analysis"
1933   output-file-type: ".html"
1934   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-ndrdisc"
1935   data:
1936     "plot-throughput-speedup-analysis"
1937   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1938   parameters:
1939   - "throughput"
1940   - "parent"
1941   - "tags"
1942   layout:
1943     title: "64B-*-.*vhost.*-ndrdisc"
1944     layout:
1945       "plot-throughput-speedup-analysis"
1946
1947 # VM VHOST - PDR
1948 -
1949   type: "plot"
1950   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1951   algorithm: "plot_throughput_speedup_analysis"
1952   output-file-type: ".html"
1953   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-pdrdisc"
1954   data:
1955     "plot-throughput-speedup-analysis"
1956   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1957   parameters:
1958   - "throughput"
1959   - "parent"
1960   - "tags"
1961   layout:
1962     title: "64B-*-.*vhost.*-pdrdisc"
1963     layout:
1964       "plot-throughput-speedup-analysis"
1965
1966 -
1967   type: "plot"
1968   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1969   algorithm: "plot_throughput_speedup_analysis"
1970   output-file-type: ".html"
1971   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-pdrdisc"
1972   data:
1973     "plot-throughput-speedup-analysis"
1974   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1975   parameters:
1976   - "throughput"
1977   - "parent"
1978   - "tags"
1979   layout:
1980     title: "64B-*-.*vhost.*-pdrdisc"
1981     layout:
1982       "plot-throughput-speedup-analysis"
1983
1984 -
1985   type: "plot"
1986   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1987   algorithm: "plot_throughput_speedup_analysis"
1988   output-file-type: ".html"
1989   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-pdrdisc"
1990   data:
1991     "plot-throughput-speedup-analysis"
1992   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1993   parameters:
1994   - "throughput"
1995   - "parent"
1996   - "tags"
1997   layout:
1998     title: "64B-*-.*vhost.*-pdrdisc"
1999     layout:
2000       "plot-throughput-speedup-analysis"
2001
2002 -
2003   type: "plot"
2004   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
2005   algorithm: "plot_throughput_speedup_analysis"
2006   output-file-type: ".html"
2007   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-pdrdisc"
2008   data:
2009     "plot-throughput-speedup-analysis"
2010   filter: "'NIC_Intel-X710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q'"
2011   parameters:
2012   - "throughput"
2013   - "parent"
2014   - "tags"
2015   layout:
2016     title: "64B-*-.*vhost.*-pdrdisc"
2017     layout:
2018       "plot-throughput-speedup-analysis"
2019
2020 -
2021   type: "plot"
2022   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
2023   algorithm: "plot_throughput_speedup_analysis"
2024   output-file-type: ".html"
2025   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-pdrdisc"
2026   data:
2027     "plot-throughput-speedup-analysis"
2028   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2029   parameters:
2030   - "throughput"
2031   - "parent"
2032   - "tags"
2033   layout:
2034     title: "64B-*-.*vhost.*-pdrdisc"
2035     layout:
2036       "plot-throughput-speedup-analysis"
2037
2038 # CRYPTO - NDR
2039 -
2040   type: "plot"
2041   title: "TSA: 64B-*-.*ipsec.*-ndrdisc"
2042   algorithm: "plot_throughput_speedup_analysis"
2043   output-file-type: ".html"
2044   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-ndrdisc"
2045   data:
2046     "plot-throughput-speedup-analysis"
2047   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2048   parameters:
2049   - "throughput"
2050   - "parent"
2051   - "tags"
2052   layout:
2053     title: "64B-*-.*ipsec.*-ndrdisc"
2054     layout:
2055       "plot-throughput-speedup-analysis"
2056
2057 # CRYPTO - PDR
2058 -
2059   type: "plot"
2060   title: "TSA: 64B-*-.*ipsec.*-pdrdisc"
2061   algorithm: "plot_throughput_speedup_analysis"
2062   output-file-type: ".html"
2063   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-pdrdisc"
2064   data:
2065     "plot-throughput-speedup-analysis"
2066   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2067   parameters:
2068   - "throughput"
2069   - "parent"
2070   - "tags"
2071   layout:
2072     title: "64B-*-.*ipsec.*-pdrdisc"
2073     layout:
2074       "plot-throughput-speedup-analysis"
2075
2076 # Container memif - NDR
2077 -
2078   type: "plot"
2079   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2080   algorithm: "plot_throughput_speedup_analysis"
2081   output-file-type: ".html"
2082   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-ndrdisc"
2083   data:
2084     "plot-throughput-speedup-analysis"
2085   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2086   parameters:
2087   - "throughput"
2088   - "parent"
2089   - "tags"
2090   layout:
2091     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2092     layout:
2093       "plot-throughput-speedup-analysis"
2094
2095 # Container memif - PDR
2096 -
2097   type: "plot"
2098   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2099   algorithm: "plot_throughput_speedup_analysis"
2100   output-file-type: ".html"
2101   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-pdrdisc"
2102   data:
2103     "plot-throughput-speedup-analysis"
2104   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2105   parameters:
2106   - "throughput"
2107   - "parent"
2108   - "tags"
2109   layout:
2110     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2111     layout:
2112       "plot-throughput-speedup-analysis"
2113
2114 # Container orchestrated - NDR
2115 -
2116   type: "plot"
2117   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2118   algorithm: "plot_throughput_speedup_analysis"
2119   output-file-type: ".html"
2120   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-ndrdisc"
2121   data:
2122     "plot-ligato-throughput-speedup-analysis"
2123   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2124   parameters:
2125   - "throughput"
2126   - "parent"
2127   - "tags"
2128   layout:
2129     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2130     layout:
2131       "plot-throughput-speedup-analysis"
2132
2133 -
2134   type: "plot"
2135   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2136   algorithm: "plot_throughput_speedup_analysis"
2137   output-file-type: ".html"
2138   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-ndrdisc"
2139   data:
2140     "plot-ligato-throughput-speedup-analysis"
2141   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2142   parameters:
2143   - "throughput"
2144   - "parent"
2145   - "tags"
2146   layout:
2147     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2148     layout:
2149       "plot-throughput-speedup-analysis"
2150
2151 # Container orchestrated - PDR
2152 -
2153   type: "plot"
2154   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2155   algorithm: "plot_throughput_speedup_analysis"
2156   output-file-type: ".html"
2157   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-pdrdisc"
2158   data:
2159     "plot-ligato-throughput-speedup-analysis"
2160   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2161   parameters:
2162   - "throughput"
2163   - "parent"
2164   - "tags"
2165   layout:
2166     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2167     layout:
2168       "plot-throughput-speedup-analysis"
2169
2170 -
2171   type: "plot"
2172   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2173   algorithm: "plot_throughput_speedup_analysis"
2174   output-file-type: ".html"
2175   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-pdrdisc"
2176   data:
2177     "plot-ligato-throughput-speedup-analysis"
2178   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2179   parameters:
2180   - "throughput"
2181   - "parent"
2182   - "tags"
2183   layout:
2184     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2185     layout:
2186       "plot-throughput-speedup-analysis"
2187
2188 # Plot packets per second
2189
2190 # VPP L2 sel1
2191 -
2192   type: "plot"
2193   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2194   algorithm: "plot_performance_box"
2195   output-file-type: ".html"
2196   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
2197   data:
2198     "plot-vpp-throughput-latency"
2199   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2200   # each tag is enclosed with ' (apostrophe).
2201   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2202   parameters:
2203   - "throughput"
2204   - "parent"
2205   traces:
2206     hoverinfo: "x+y"
2207     boxpoints: "outliers"
2208     whiskerwidth: 0
2209   layout:
2210     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2211     layout:
2212       "plot-throughput"
2213
2214 -
2215   type: "plot"
2216   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2217   algorithm: "plot_performance_box"
2218   output-file-type: ".html"
2219   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
2220   data:
2221     "plot-vpp-throughput-latency"
2222   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2223   parameters:
2224   - "throughput"
2225   - "parent"
2226   traces:
2227     hoverinfo: "x+y"
2228     boxpoints: "outliers"
2229     whiskerwidth: 0
2230   layout:
2231     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2232     layout:
2233       "plot-throughput"
2234
2235 -
2236   type: "plot"
2237   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2238   algorithm: "plot_performance_box"
2239   output-file-type: ".html"
2240   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
2241   data:
2242     "plot-vpp-throughput-latency"
2243   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2244   parameters:
2245   - "throughput"
2246   - "parent"
2247   traces:
2248     hoverinfo: "x+y"
2249     boxpoints: "outliers"
2250     whiskerwidth: 0
2251   layout:
2252     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2253     layout:
2254       "plot-throughput"
2255
2256 -
2257   type: "plot"
2258   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2259   algorithm: "plot_performance_box"
2260   output-file-type: ".html"
2261   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
2262   data:
2263     "plot-vpp-throughput-latency"
2264   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2265   parameters:
2266   - "throughput"
2267   - "parent"
2268   traces:
2269     hoverinfo: "x+y"
2270     boxpoints: "outliers"
2271     whiskerwidth: 0
2272   layout:
2273     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2274     layout:
2275       "plot-throughput"
2276
2277 # VPP L2 sel2
2278 -
2279   type: "plot"
2280   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2281   algorithm: "plot_performance_box"
2282   output-file-type: ".html"
2283   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
2284   data:
2285     "plot-vpp-throughput-latency"
2286   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2287   parameters:
2288   - "throughput"
2289   - "parent"
2290   traces:
2291     hoverinfo: "x+y"
2292     boxpoints: "outliers"
2293     whiskerwidth: 0
2294   layout:
2295     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2296     layout:
2297       "plot-throughput"
2298
2299 -
2300   type: "plot"
2301   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2302   algorithm: "plot_performance_box"
2303   output-file-type: ".html"
2304   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
2305   data:
2306     "plot-vpp-throughput-latency"
2307   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2308   parameters:
2309   - "throughput"
2310   - "parent"
2311   traces:
2312     hoverinfo: "x+y"
2313     boxpoints: "outliers"
2314     whiskerwidth: 0
2315   layout:
2316     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2317     layout:
2318       "plot-throughput"
2319
2320 -
2321   type: "plot"
2322   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2323   algorithm: "plot_performance_box"
2324   output-file-type: ".html"
2325   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
2326   data:
2327     "plot-vpp-throughput-latency"
2328   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2329   parameters:
2330   - "throughput"
2331   - "parent"
2332   traces:
2333     hoverinfo: "x+y"
2334     boxpoints: "outliers"
2335     whiskerwidth: 0
2336   layout:
2337     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2338     layout:
2339       "plot-throughput"
2340
2341 -
2342   type: "plot"
2343   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2344   algorithm: "plot_performance_box"
2345   output-file-type: ".html"
2346   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
2347   data:
2348     "plot-vpp-throughput-latency"
2349   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2350   parameters:
2351   - "throughput"
2352   - "parent"
2353   traces:
2354     hoverinfo: "x+y"
2355     boxpoints: "outliers"
2356     whiskerwidth: 0
2357   layout:
2358     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2359     layout:
2360       "plot-throughput"
2361
2362 # VPP IP4
2363 -
2364   type: "plot"
2365   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2366   algorithm: "plot_performance_box"
2367   output-file-type: ".html"
2368   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
2369   data:
2370     "plot-vpp-throughput-latency"
2371   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2372   parameters:
2373   - "throughput"
2374   - "parent"
2375   traces:
2376     hoverinfo: "x+y"
2377     boxpoints: "outliers"
2378     whiskerwidth: 0
2379   layout:
2380     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2381     layout:
2382       "plot-throughput"
2383
2384 -
2385   type: "plot"
2386   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2387   algorithm: "plot_performance_box"
2388   output-file-type: ".html"
2389   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
2390   data:
2391     "plot-vpp-throughput-latency"
2392   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2393   parameters:
2394   - "throughput"
2395   - "parent"
2396   traces:
2397     hoverinfo: "x+y"
2398     boxpoints: "outliers"
2399     whiskerwidth: 0
2400   layout:
2401     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2402     layout:
2403       "plot-throughput"
2404
2405 -
2406   type: "plot"
2407   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2408   algorithm: "plot_performance_box"
2409   output-file-type: ".html"
2410   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
2411   data:
2412     "plot-vpp-throughput-latency"
2413   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2414   parameters:
2415   - "throughput"
2416   - "parent"
2417   traces:
2418     hoverinfo: "x+y"
2419     boxpoints: "outliers"
2420     whiskerwidth: 0
2421   layout:
2422     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2423     layout:
2424       "plot-throughput"
2425
2426 -
2427   type: "plot"
2428   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2429   algorithm: "plot_performance_box"
2430   output-file-type: ".html"
2431   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
2432   data:
2433     "plot-vpp-throughput-latency"
2434   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2435   parameters:
2436   - "throughput"
2437   - "parent"
2438   traces:
2439     hoverinfo: "x+y"
2440     boxpoints: "outliers"
2441     whiskerwidth: 0
2442   layout:
2443     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2444     layout:
2445       "plot-throughput"
2446
2447 # VPP IP6
2448 -
2449   type: "plot"
2450   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2451   algorithm: "plot_performance_box"
2452   output-file-type: ".html"
2453   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
2454   data:
2455     "plot-vpp-throughput-latency"
2456   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2457   parameters:
2458   - "throughput"
2459   - "parent"
2460   traces:
2461     hoverinfo: "x+y"
2462     boxpoints: "outliers"
2463     whiskerwidth: 0
2464   layout:
2465     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2466     layout:
2467       "plot-throughput"
2468
2469 -
2470   type: "plot"
2471   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2472   algorithm: "plot_performance_box"
2473   output-file-type: ".html"
2474   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
2475   data:
2476     "plot-vpp-throughput-latency"
2477   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2478   parameters:
2479   - "throughput"
2480   - "parent"
2481   traces:
2482     hoverinfo: "x+y"
2483     boxpoints: "outliers"
2484     whiskerwidth: 0
2485   layout:
2486     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2487     layout:
2488       "plot-throughput"
2489
2490 -
2491   type: "plot"
2492   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2493   algorithm: "plot_performance_box"
2494   output-file-type: ".html"
2495   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
2496   data:
2497     "plot-vpp-throughput-latency"
2498   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2499   parameters:
2500   - "throughput"
2501   - "parent"
2502   traces:
2503     hoverinfo: "x+y"
2504     boxpoints: "outliers"
2505     whiskerwidth: 0
2506   layout:
2507     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2508     layout:
2509       "plot-throughput"
2510
2511 -
2512   type: "plot"
2513   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2514   algorithm: "plot_performance_box"
2515   output-file-type: ".html"
2516   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
2517   data:
2518     "plot-vpp-throughput-latency"
2519   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2520   parameters:
2521   - "throughput"
2522   - "parent"
2523   traces:
2524     hoverinfo: "x+y"
2525     boxpoints: "outliers"
2526     whiskerwidth: 0
2527   layout:
2528     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2529     layout:
2530       "plot-throughput"
2531
2532 # VPP SRv6
2533 -
2534   type: "plot"
2535   title: "VPP Performance 78B-1t1c-ethip6*srv6*ndrdisc"
2536   algorithm: "plot_performance_box"
2537   output-file-type: ".html"
2538   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-srv6-ndrdisc"
2539   data:
2540     "plot-vpp-throughput-latency"
2541   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '1T1C' and 'IP6FWD' and 'SRv6'"
2542   parameters:
2543   - "throughput"
2544   - "parent"
2545   traces:
2546     hoverinfo: "x+y"
2547     boxpoints: "outliers"
2548     whiskerwidth: 0
2549   layout:
2550     title: "78B-1t1c-ethip6*srv6*ndrdisc"
2551     layout:
2552       "plot-throughput"
2553
2554 -
2555   type: "plot"
2556   title: "VPP Performance 78B-2t2c-ethip6*srv6*ndrdisc"
2557   algorithm: "plot_performance_box"
2558   output-file-type: ".html"
2559   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-srv6-ndrdisc"
2560   data:
2561     "plot-vpp-throughput-latency"
2562   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '2T2C' and 'IP6FWD' and 'SRv6'"
2563   parameters:
2564   - "throughput"
2565   - "parent"
2566   traces:
2567     hoverinfo: "x+y"
2568     boxpoints: "outliers"
2569     whiskerwidth: 0
2570   layout:
2571     title: "78B-2t2c-ethip6*srv6*ndrdisc"
2572     layout:
2573       "plot-throughput"
2574
2575 -
2576   type: "plot"
2577   title: "VPP Performance 78B-1t1c-ethip6*srv6*pdrdisc"
2578   algorithm: "plot_performance_box"
2579   output-file-type: ".html"
2580   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-srv6-pdrdisc"
2581   data:
2582     "plot-vpp-throughput-latency"
2583   filter: "'78B' and 'FEATURE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and 'SRv6'"
2584   parameters:
2585   - "throughput"
2586   - "parent"
2587   traces:
2588     hoverinfo: "x+y"
2589     boxpoints: "outliers"
2590     whiskerwidth: 0
2591   layout:
2592     title: "78B-1t1c-ethip6*srv6*pdrdisc"
2593     layout:
2594       "plot-throughput"
2595
2596 -
2597   type: "plot"
2598   title: "VPP Performance 78B-2t2c-ethip6*srv6*pdrdisc"
2599   algorithm: "plot_performance_box"
2600   output-file-type: ".html"
2601   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-srv6-pdrdisc"
2602   data:
2603     "plot-vpp-throughput-latency"
2604   filter: "'78B' and 'FEATURE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and 'SRv6'"
2605   parameters:
2606   - "throughput"
2607   - "parent"
2608   traces:
2609     hoverinfo: "x+y"
2610     boxpoints: "outliers"
2611     whiskerwidth: 0
2612   layout:
2613     title: "78B-2t2c-ethip6*srv6*pdrdisc"
2614     layout:
2615       "plot-throughput"
2616
2617 # VPP IP4_overlay
2618 -
2619   type: "plot"
2620   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2621   algorithm: "plot_performance_box"
2622   output-file-type: ".html"
2623   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
2624   data:
2625     "plot-vpp-throughput-latency"
2626   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2627   parameters:
2628   - "throughput"
2629   - "parent"
2630   traces:
2631     hoverinfo: "x+y"
2632     boxpoints: "outliers"
2633     whiskerwidth: 0
2634   layout:
2635     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2636     layout:
2637       "plot-throughput"
2638
2639 -
2640   type: "plot"
2641   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2642   algorithm: "plot_performance_box"
2643   output-file-type: ".html"
2644   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
2645   data:
2646     "plot-vpp-throughput-latency"
2647   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2648   parameters:
2649   - "throughput"
2650   - "parent"
2651   traces:
2652     hoverinfo: "x+y"
2653     boxpoints: "outliers"
2654     whiskerwidth: 0
2655   layout:
2656     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2657     layout:
2658       "plot-throughput"
2659
2660 -
2661   type: "plot"
2662   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2663   algorithm: "plot_performance_box"
2664   output-file-type: ".html"
2665   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2666   data:
2667     "plot-vpp-throughput-latency"
2668   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2669   parameters:
2670   - "throughput"
2671   - "parent"
2672   traces:
2673     hoverinfo: "x+y"
2674     boxpoints: "outliers"
2675     whiskerwidth: 0
2676   layout:
2677     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2678     layout:
2679       "plot-throughput"
2680
2681 -
2682   type: "plot"
2683   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2684   algorithm: "plot_performance_box"
2685   output-file-type: ".html"
2686   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2687   data:
2688     "plot-vpp-throughput-latency"
2689   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2690   parameters:
2691   - "throughput"
2692   - "parent"
2693   traces:
2694     hoverinfo: "x+y"
2695     boxpoints: "outliers"
2696     whiskerwidth: 0
2697   layout:
2698     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2699     layout:
2700       "plot-throughput"
2701
2702 # VPP IP6_overlay
2703 -
2704   type: "plot"
2705   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2706   algorithm: "plot_performance_box"
2707   output-file-type: ".html"
2708   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2709   data:
2710     "plot-vpp-throughput-latency"
2711   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2712   parameters:
2713   - "throughput"
2714   - "parent"
2715   traces:
2716     hoverinfo: "x+y"
2717     boxpoints: "outliers"
2718     whiskerwidth: 0
2719   layout:
2720     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2721     layout:
2722       "plot-throughput"
2723
2724 -
2725   type: "plot"
2726   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2727   algorithm: "plot_performance_box"
2728   output-file-type: ".html"
2729   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2730   data:
2731     "plot-vpp-throughput-latency"
2732   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2733   parameters:
2734   - "throughput"
2735   - "parent"
2736   traces:
2737     hoverinfo: "x+y"
2738     boxpoints: "outliers"
2739     whiskerwidth: 0
2740   layout:
2741     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2742     layout:
2743       "plot-throughput"
2744
2745 -
2746   type: "plot"
2747   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2748   algorithm: "plot_performance_box"
2749   output-file-type: ".html"
2750   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2751   data:
2752     "plot-vpp-throughput-latency"
2753   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2754   parameters:
2755   - "throughput"
2756   - "parent"
2757   traces:
2758     hoverinfo: "x+y"
2759     boxpoints: "outliers"
2760     whiskerwidth: 0
2761   layout:
2762     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2763     layout:
2764       "plot-throughput"
2765
2766 -
2767   type: "plot"
2768   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2769   algorithm: "plot_performance_box"
2770   output-file-type: ".html"
2771   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2772   data:
2773     "plot-vpp-throughput-latency"
2774   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2775   parameters:
2776   - "throughput"
2777   - "parent"
2778   traces:
2779     hoverinfo: "x+y"
2780     boxpoints: "outliers"
2781     whiskerwidth: 0
2782   layout:
2783     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2784     layout:
2785       "plot-throughput"
2786
2787 # VPP VM VHOST
2788 -
2789   type: "plot"
2790   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2791   algorithm: "plot_performance_box"
2792   output-file-type: ".html"
2793   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2794   data:
2795     "plot-vpp-throughput-latency"
2796   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2797   parameters:
2798   - "throughput"
2799   - "parent"
2800   traces:
2801     hoverinfo: "x+y"
2802     boxpoints: "outliers"
2803     whiskerwidth: 0
2804   layout:
2805     title: "64B-1t1c-.*vhost.*-ndrdisc"
2806     layout:
2807       "plot-throughput"
2808
2809 -
2810   type: "plot"
2811   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2812   algorithm: "plot_performance_box"
2813   output-file-type: ".html"
2814   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2815   data:
2816     "plot-vpp-throughput-latency"
2817   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2818   parameters:
2819   - "throughput"
2820   - "parent"
2821   traces:
2822     hoverinfo: "x+y"
2823     boxpoints: "outliers"
2824     whiskerwidth: 0
2825   layout:
2826     title: "64B-2t2c-.*vhost.*-ndrdisc"
2827     layout:
2828       "plot-throughput"
2829
2830 -
2831   type: "plot"
2832   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2833   algorithm: "plot_performance_box"
2834   output-file-type: ".html"
2835   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2836   data:
2837     "plot-vpp-throughput-latency"
2838   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2839   parameters:
2840   - "throughput"
2841   - "parent"
2842   traces:
2843     hoverinfo: "x+y"
2844     boxpoints: "outliers"
2845     whiskerwidth: 0
2846   layout:
2847     title: "64B-1t1c-.*vhost.*-pdrdisc"
2848     layout:
2849       "plot-throughput"
2850
2851 -
2852   type: "plot"
2853   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2854   algorithm: "plot_performance_box"
2855   output-file-type: ".html"
2856   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2857   data:
2858     "plot-vpp-throughput-latency"
2859   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2860   parameters:
2861   - "throughput"
2862   - "parent"
2863   traces:
2864     hoverinfo: "x+y"
2865     boxpoints: "outliers"
2866     whiskerwidth: 0
2867   layout:
2868     title: "64B-2t2c-.*vhost.*-pdrdisc"
2869     layout:
2870       "plot-throughput"
2871
2872 # VPP VM VHOST SELECTION
2873 -
2874   type: "plot"
2875   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2876   algorithm: "plot_performance_box"
2877   output-file-type: ".html"
2878   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2879   data:
2880     "plot-vpp-throughput-latency"
2881   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2882   parameters:
2883   - "throughput"
2884   - "parent"
2885   traces:
2886     hoverinfo: "x+y"
2887     boxpoints: "outliers"
2888     whiskerwidth: 0
2889   layout:
2890     title: "64B-1t1c-.*vhost.*-ndrdisc"
2891     layout:
2892       "plot-throughput"
2893
2894 -
2895   type: "plot"
2896   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2897   algorithm: "plot_performance_box"
2898   output-file-type: ".html"
2899   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2900   data:
2901     "plot-vpp-throughput-latency"
2902   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2903   parameters:
2904   - "throughput"
2905   - "parent"
2906   traces:
2907     hoverinfo: "x+y"
2908     boxpoints: "outliers"
2909     whiskerwidth: 0
2910   layout:
2911     title: "64B-2t2c-.*vhost.*-ndrdisc"
2912     layout:
2913       "plot-throughput"
2914
2915 -
2916   type: "plot"
2917   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2918   algorithm: "plot_performance_box"
2919   output-file-type: ".html"
2920   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2921   data:
2922     "plot-vpp-throughput-latency"
2923   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2924   parameters:
2925   - "throughput"
2926   - "parent"
2927   traces:
2928     hoverinfo: "x+y"
2929     boxpoints: "outliers"
2930     whiskerwidth: 0
2931   layout:
2932     title: "64B-1t1c-.*vhost.*-pdrdisc"
2933     layout:
2934       "plot-throughput"
2935
2936 -
2937   type: "plot"
2938   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2939   algorithm: "plot_performance_box"
2940   output-file-type: ".html"
2941   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2942   data:
2943     "plot-vpp-throughput-latency"
2944   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2945   parameters:
2946   - "throughput"
2947   - "parent"
2948   traces:
2949     hoverinfo: "x+y"
2950     boxpoints: "outliers"
2951     whiskerwidth: 0
2952   layout:
2953     title: "64B-2t2c-.*vhost.*-pdrdisc"
2954     layout:
2955       "plot-throughput"
2956
2957 # VPP CRYPTO
2958 -
2959   type: "plot"
2960   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2961   algorithm: "plot_performance_box"
2962   output-file-type: ".html"
2963   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2964   data:
2965     "plot-vpp-throughput-latency"
2966   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2967   parameters:
2968   - "throughput"
2969   - "parent"
2970   traces:
2971     hoverinfo: "x+y"
2972     boxpoints: "outliers"
2973     whiskerwidth: 0
2974   layout:
2975     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2976     layout:
2977       "plot-throughput"
2978
2979 -
2980   type: "plot"
2981   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2982   algorithm: "plot_performance_box"
2983   output-file-type: ".html"
2984   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2985   data:
2986     "plot-vpp-throughput-latency"
2987   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2988   parameters:
2989   - "throughput"
2990   - "parent"
2991   traces:
2992     hoverinfo: "x+y"
2993     boxpoints: "outliers"
2994     whiskerwidth: 0
2995   layout:
2996     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2997     layout:
2998       "plot-throughput"
2999
3000 -
3001   type: "plot"
3002   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
3003   algorithm: "plot_performance_box"
3004   output-file-type: ".html"
3005   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
3006   data:
3007     "plot-vpp-throughput-latency"
3008   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3009   parameters:
3010   - "throughput"
3011   - "parent"
3012   traces:
3013     hoverinfo: "x+y"
3014     boxpoints: "outliers"
3015     whiskerwidth: 0
3016   layout:
3017     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3018     layout:
3019       "plot-throughput"
3020
3021 -
3022   type: "plot"
3023   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3024   algorithm: "plot_performance_box"
3025   output-file-type: ".html"
3026   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3027   data:
3028     "plot-vpp-throughput-latency"
3029   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3030   parameters:
3031   - "throughput"
3032   - "parent"
3033   traces:
3034     hoverinfo: "x+y"
3035     boxpoints: "outliers"
3036     whiskerwidth: 0
3037   layout:
3038     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3039     layout:
3040       "plot-throughput"
3041
3042 # DPDK
3043 -
3044   type: "plot"
3045   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3046   algorithm: "plot_performance_box"
3047   output-file-type: ".html"
3048   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3049   data:
3050     "plot-dpdk-throughput-latency"
3051   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3052   parameters:
3053   - "throughput"
3054   - "parent"
3055   traces:
3056     hoverinfo: "x+y"
3057     boxpoints: "outliers"
3058     whiskerwidth: 0
3059   layout:
3060     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3061     layout:
3062       "plot-throughput"
3063
3064 -
3065   type: "plot"
3066   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3067   algorithm: "plot_performance_box"
3068   output-file-type: ".html"
3069   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3070   data:
3071     "plot-dpdk-throughput-latency"
3072   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3073   parameters:
3074   - "throughput"
3075   - "parent"
3076   traces:
3077     hoverinfo: "x+y"
3078     boxpoints: "outliers"
3079     whiskerwidth: 0
3080   layout:
3081     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3082     layout:
3083       "plot-throughput"
3084
3085 -
3086   type: "plot"
3087   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3088   algorithm: "plot_performance_box"
3089   output-file-type: ".html"
3090   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3091   data:
3092     "plot-dpdk-throughput-latency"
3093   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3094   parameters:
3095   - "throughput"
3096   - "parent"
3097   traces:
3098     hoverinfo: "x+y"
3099     boxpoints: "outliers"
3100     whiskerwidth: 0
3101   layout:
3102     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3103     layout:
3104       "plot-throughput"
3105
3106 -
3107   type: "plot"
3108   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3109   algorithm: "plot_performance_box"
3110   output-file-type: ".html"
3111   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3112   data:
3113     "plot-dpdk-throughput-latency"
3114   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3115   parameters:
3116   - "throughput"
3117   - "parent"
3118   traces:
3119     hoverinfo: "x+y"
3120     boxpoints: "outliers"
3121     whiskerwidth: 0
3122   layout:
3123     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3124     layout:
3125       "plot-throughput"
3126
3127 -
3128   type: "plot"
3129   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3130   algorithm: "plot_performance_box"
3131   output-file-type: ".html"
3132   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3133   data:
3134     "plot-dpdk-throughput-latency"
3135   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3136   parameters:
3137   - "throughput"
3138   - "parent"
3139   traces:
3140     hoverinfo: "x+y"
3141     boxpoints: "outliers"
3142     whiskerwidth: 0
3143   layout:
3144     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3145     layout:
3146       "plot-throughput"
3147
3148 -
3149   type: "plot"
3150   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3151   algorithm: "plot_performance_box"
3152   output-file-type: ".html"
3153   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3154   data:
3155     "plot-dpdk-throughput-latency"
3156   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3157   parameters:
3158   - "throughput"
3159   - "parent"
3160   traces:
3161     hoverinfo: "x+y"
3162     boxpoints: "outliers"
3163     whiskerwidth: 0
3164   layout:
3165     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3166     layout:
3167       "plot-throughput"
3168
3169 -
3170   type: "plot"
3171   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3172   algorithm: "plot_performance_box"
3173   output-file-type: ".html"
3174   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3175   data:
3176     "plot-dpdk-throughput-latency"
3177   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3178   parameters:
3179   - "throughput"
3180   - "parent"
3181   traces:
3182     hoverinfo: "x+y"
3183     boxpoints: "outliers"
3184     whiskerwidth: 0
3185   layout:
3186     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3187     layout:
3188       "plot-throughput"
3189
3190 -
3191   type: "plot"
3192   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3193   algorithm: "plot_performance_box"
3194   output-file-type: ".html"
3195   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3196   data:
3197     "plot-dpdk-throughput-latency"
3198   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3199   parameters:
3200   - "throughput"
3201   - "parent"
3202   traces:
3203     hoverinfo: "x+y"
3204     boxpoints: "outliers"
3205     whiskerwidth: 0
3206   layout:
3207     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3208     layout:
3209       "plot-throughput"
3210
3211 # Plot latency
3212
3213 # VPP L2 sel1
3214 -
3215   type: "plot"
3216   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3217   algorithm: "plot_latency_box"
3218   output-file-type: ".html"
3219   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3220   data:
3221     "plot-vpp-throughput-latency"
3222   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3223   parameters:
3224   - "latency"
3225   - "parent"
3226   traces:
3227     boxmean: False
3228   layout:
3229     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3230     layout:
3231       "plot-latency"
3232
3233 -
3234   type: "plot"
3235   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3236   algorithm: "plot_latency_box"
3237   output-file-type: ".html"
3238   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3239   data:
3240     "plot-vpp-throughput-latency"
3241   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3242   parameters:
3243   - "latency"
3244   - "parent"
3245   traces:
3246     boxmean: False
3247   layout:
3248     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3249     layout:
3250       "plot-latency"
3251
3252 # VPP L2 sel2
3253 -
3254   type: "plot"
3255   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3256   algorithm: "plot_latency_box"
3257   output-file-type: ".html"
3258   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3259   data:
3260     "plot-vpp-throughput-latency"
3261   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3262   parameters:
3263   - "latency"
3264   - "parent"
3265   traces:
3266     boxmean: False
3267   layout:
3268     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3269     layout:
3270       "plot-latency"
3271
3272 -
3273   type: "plot"
3274   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3275   algorithm: "plot_latency_box"
3276   output-file-type: ".html"
3277   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3278   data:
3279     "plot-vpp-throughput-latency"
3280   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3281   parameters:
3282   - "latency"
3283   - "parent"
3284   traces:
3285     boxmean: False
3286   layout:
3287     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3288     layout:
3289       "plot-latency"
3290
3291 # VPP IP4
3292 -
3293   type: "plot"
3294   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3295   algorithm: "plot_latency_box"
3296   output-file-type: ".html"
3297   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3298   data:
3299     "plot-vpp-throughput-latency"
3300   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3301   parameters:
3302   - "latency"
3303   - "parent"
3304   traces:
3305     boxmean: False
3306   layout:
3307     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3308     layout:
3309       "plot-latency"
3310
3311 -
3312   type: "plot"
3313   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3314   algorithm: "plot_latency_box"
3315   output-file-type: ".html"
3316   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3317   data:
3318     "plot-vpp-throughput-latency"
3319   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3320   parameters:
3321   - "latency"
3322   - "parent"
3323   traces:
3324     boxmean: False
3325   layout:
3326     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3327     layout:
3328       "plot-latency"
3329
3330 # VPP IP6
3331 -
3332   type: "plot"
3333   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3334   algorithm: "plot_latency_box"
3335   output-file-type: ".html"
3336   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3337   data:
3338     "plot-vpp-throughput-latency"
3339   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
3340   parameters:
3341   - "latency"
3342   - "parent"
3343   traces:
3344     boxmean: False
3345   layout:
3346     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3347     layout:
3348       "plot-latency"
3349
3350 -
3351   type: "plot"
3352   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3353   algorithm: "plot_latency_box"
3354   output-file-type: ".html"
3355   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3356   data:
3357     "plot-vpp-throughput-latency"
3358   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
3359   parameters:
3360   - "latency"
3361   - "parent"
3362   traces:
3363     boxmean: False
3364   layout:
3365     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3366     layout:
3367       "plot-latency"
3368
3369 # VPP SRv6
3370 -
3371   type: "plot"
3372   title: "VPP Latency 78B-1t1c-ethip6*srv6*ndrdisc"
3373   algorithm: "plot_latency_box"
3374   output-file-type: ".html"
3375   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-srv6-ndrdisc-lat50"
3376   data:
3377     "plot-vpp-throughput-latency"
3378   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '1T1C' and 'IP6FWD' and 'SRv6'"
3379   parameters:
3380   - "latency"
3381   - "parent"
3382   traces:
3383     boxmean: False
3384   layout:
3385     title: "78B-1t1c-ethip6*srv6*ndrdisc"
3386     layout:
3387       "plot-latency"
3388
3389 -
3390   type: "plot"
3391   title: "VPP Latency 78B-2t2c-ethip6*srv6*ndrdisc"
3392   algorithm: "plot_latency_box"
3393   output-file-type: ".html"
3394   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-srv6-ndrdisc-lat50"
3395   data:
3396     "plot-vpp-throughput-latency"
3397   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '2T2C' and 'IP6FWD' and 'SRv6'"
3398   parameters:
3399   - "latency"
3400   - "parent"
3401   traces:
3402     boxmean: False
3403   layout:
3404     title: "78B-2t2c-ethip6*srv6*ndrdisc"
3405     layout:
3406       "plot-latency"
3407
3408 # VPP IP4_overlay
3409 -
3410   type: "plot"
3411   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3412   algorithm: "plot_latency_box"
3413   output-file-type: ".html"
3414   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3415   data:
3416     "plot-vpp-throughput-latency"
3417   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3418   parameters:
3419   - "latency"
3420   - "parent"
3421   traces:
3422     boxmean: False
3423   layout:
3424     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3425     layout:
3426       "plot-latency"
3427
3428 -
3429   type: "plot"
3430   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3431   algorithm: "plot_latency_box"
3432   output-file-type: ".html"
3433   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3434   data:
3435     "plot-vpp-throughput-latency"
3436   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3437   parameters:
3438   - "latency"
3439   - "parent"
3440   traces:
3441     boxmean: False
3442   layout:
3443     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3444     layout:
3445       "plot-latency"
3446
3447 # VPP IP6_overlay
3448 -
3449   type: "plot"
3450   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3451   algorithm: "plot_latency_box"
3452   output-file-type: ".html"
3453   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3454   data:
3455     "plot-vpp-throughput-latency"
3456   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3457   parameters:
3458   - "latency"
3459   - "parent"
3460   traces:
3461     boxmean: False
3462   layout:
3463     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3464     layout:
3465       "plot-latency"
3466
3467 -
3468   type: "plot"
3469   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3470   algorithm: "plot_latency_box"
3471   output-file-type: ".html"
3472   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3473   data:
3474     "plot-vpp-throughput-latency"
3475   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3476   parameters:
3477   - "latency"
3478   - "parent"
3479   traces:
3480     boxmean: False
3481   layout:
3482     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3483     layout:
3484       "plot-latency"
3485
3486 # VPP VM VHOST
3487 -
3488   type: "plot"
3489   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3490   algorithm: "plot_latency_box"
3491   output-file-type: ".html"
3492   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3493   data:
3494     "plot-vpp-throughput-latency"
3495   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3496   parameters:
3497   - "latency"
3498   - "parent"
3499   traces:
3500     boxmean: False
3501   layout:
3502     title: "64B-1t1c-.*vhost.*-ndrdisc"
3503     layout:
3504       "plot-latency"
3505
3506 -
3507   type: "plot"
3508   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3509   algorithm: "plot_latency_box"
3510   output-file-type: ".html"
3511   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3512   data:
3513     "plot-vpp-throughput-latency"
3514   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3515   parameters:
3516   - "latency"
3517   - "parent"
3518   traces:
3519     boxmean: False
3520   layout:
3521     title: "64B-2t2c-.*vhost.*-ndrdisc"
3522     layout:
3523       "plot-latency"
3524
3525 # VPP VM VHOST selection
3526 -
3527   type: "plot"
3528   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3529   algorithm: "plot_latency_box"
3530   output-file-type: ".html"
3531   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3532   data:
3533     "plot-vpp-throughput-latency"
3534   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3535   parameters:
3536   - "latency"
3537   - "parent"
3538   traces:
3539     boxmean: False
3540   layout:
3541     title: "64B-1t1c-.*vhost.*-ndrdisc"
3542     layout:
3543       "plot-latency"
3544
3545 -
3546   type: "plot"
3547   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3548   algorithm: "plot_latency_box"
3549   output-file-type: ".html"
3550   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3551   data:
3552     "plot-vpp-throughput-latency"
3553   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3554   parameters:
3555   - "latency"
3556   - "parent"
3557   traces:
3558     boxmean: False
3559   layout:
3560     title: "64B-2t2c-.*vhost.*-ndrdisc"
3561     layout:
3562       "plot-latency"
3563
3564 # VPP CRYPTO
3565 -
3566   type: "plot"
3567   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3568   algorithm: "plot_latency_box"
3569   output-file-type: ".html"
3570   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3571   data:
3572     "plot-vpp-throughput-latency"
3573   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3574   parameters:
3575   - "latency"
3576   - "parent"
3577   traces:
3578     boxmean: False
3579   layout:
3580     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3581     layout:
3582       "plot-latency"
3583
3584 -
3585   type: "plot"
3586   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3587   algorithm: "plot_latency_box"
3588   output-file-type: ".html"
3589   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3590   data:
3591     "plot-vpp-throughput-latency"
3592   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3593   parameters:
3594   - "latency"
3595   - "parent"
3596   traces:
3597     boxmean: False
3598   layout:
3599     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3600     layout:
3601       "plot-latency"
3602
3603 # DPDK
3604 -
3605   type: "plot"
3606   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3607   algorithm: "plot_latency_box"
3608   output-file-type: ".html"
3609   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3610   data:
3611     "plot-dpdk-throughput-latency"
3612   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3613   parameters:
3614   - "latency"
3615   - "parent"
3616   traces:
3617     boxmean: False
3618   layout:
3619     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3620     layout:
3621       "plot-latency"
3622
3623 -
3624   type: "plot"
3625   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3626   algorithm: "plot_latency_box"
3627   output-file-type: ".html"
3628   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3629   data:
3630     "plot-dpdk-throughput-latency"
3631   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3632   parameters:
3633   - "latency"
3634   - "parent"
3635   traces:
3636     boxmean: False
3637   layout:
3638     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3639     layout:
3640       "plot-latency"
3641
3642 -
3643   type: "plot"
3644   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3645   algorithm: "plot_latency_box"
3646   output-file-type: ".html"
3647   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3648   data:
3649     "plot-dpdk-throughput-latency"
3650   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3651   parameters:
3652   - "latency"
3653   - "parent"
3654   traces:
3655     boxmean: False
3656   layout:
3657     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3658     layout:
3659       "plot-latency"
3660
3661 -
3662   type: "plot"
3663   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3664   algorithm: "plot_latency_box"
3665   output-file-type: ".html"
3666   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3667   data:
3668     "plot-dpdk-throughput-latency"
3669   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3670   parameters:
3671   - "latency"
3672   - "parent"
3673   traces:
3674     boxmean: False
3675   layout:
3676     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3677     layout:
3678       "plot-latency"
3679
3680 # Ligato - Throughput
3681
3682 # Container memif
3683 -
3684   type: "plot"
3685   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3686   algorithm: "plot_performance_box"
3687   output-file-type: ".html"
3688   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3689   data:
3690     "plot-vpp-throughput-latency"
3691   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3692   parameters:
3693   - "throughput"
3694   - "parent"
3695   traces:
3696     hoverinfo: "x+y"
3697     boxpoints: "outliers"
3698     whiskerwidth: 0
3699   layout:
3700     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3701     layout:
3702       "plot-throughput"
3703
3704 -
3705   type: "plot"
3706   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3707   algorithm: "plot_performance_box"
3708   output-file-type: ".html"
3709   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3710   data:
3711     "plot-vpp-throughput-latency"
3712   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3713   parameters:
3714   - "throughput"
3715   - "parent"
3716   traces:
3717     hoverinfo: "x+y"
3718     boxpoints: "outliers"
3719     whiskerwidth: 0
3720   layout:
3721     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3722     layout:
3723       "plot-throughput"
3724
3725 -
3726   type: "plot"
3727   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3728   algorithm: "plot_performance_box"
3729   output-file-type: ".html"
3730   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3731   data:
3732     "plot-vpp-throughput-latency"
3733   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3734   parameters:
3735   - "throughput"
3736   - "parent"
3737   traces:
3738     hoverinfo: "x+y"
3739     boxpoints: "outliers"
3740     whiskerwidth: 0
3741   layout:
3742     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3743     layout:
3744       "plot-throughput"
3745
3746 -
3747   type: "plot"
3748   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3749   algorithm: "plot_performance_box"
3750   output-file-type: ".html"
3751   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3752   data:
3753     "plot-vpp-throughput-latency"
3754   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3755   parameters:
3756   - "throughput"
3757   - "parent"
3758   traces:
3759     hoverinfo: "x+y"
3760     boxpoints: "outliers"
3761     whiskerwidth: 0
3762   layout:
3763     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3764     layout:
3765       "plot-throughput"
3766
3767 # Container orchestrated
3768 -
3769   type: "plot"
3770   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3771   algorithm: "plot_performance_box"
3772   output-file-type: ".html"
3773   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3774   data:
3775     "plot-ligato-throughput-latency"
3776   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3777   parameters:
3778   - "throughput"
3779   - "parent"
3780   traces:
3781     hoverinfo: "x+y"
3782     boxpoints: "outliers"
3783     whiskerwidth: 0
3784   layout:
3785     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3786     layout:
3787       "plot-throughput"
3788
3789 -
3790   type: "plot"
3791   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3792   algorithm: "plot_performance_box"
3793   output-file-type: ".html"
3794   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3795   data:
3796     "plot-ligato-throughput-latency"
3797   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3798   parameters:
3799   - "throughput"
3800   - "parent"
3801   traces:
3802     hoverinfo: "x+y"
3803     boxpoints: "outliers"
3804     whiskerwidth: 0
3805   layout:
3806     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3807     layout:
3808       "plot-throughput"
3809
3810 -
3811   type: "plot"
3812   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3813   algorithm: "plot_performance_box"
3814   output-file-type: ".html"
3815   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3816   data:
3817     "plot-ligato-throughput-latency"
3818   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3819   parameters:
3820   - "throughput"
3821   - "parent"
3822   traces:
3823     hoverinfo: "x+y"
3824     boxpoints: "outliers"
3825     whiskerwidth: 0
3826   layout:
3827     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3828     layout:
3829       "plot-throughput"
3830
3831 -
3832   type: "plot"
3833   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3834   algorithm: "plot_performance_box"
3835   output-file-type: ".html"
3836   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3837   data:
3838     "plot-ligato-throughput-latency"
3839   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3840   parameters:
3841   - "throughput"
3842   - "parent"
3843   traces:
3844     hoverinfo: "x+y"
3845     boxpoints: "outliers"
3846     whiskerwidth: 0
3847   layout:
3848     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3849     layout:
3850       "plot-throughput"
3851
3852 # Ligato - Latency
3853
3854 # Container memif
3855 -
3856   type: "plot"
3857   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3858   algorithm: "plot_latency_box"
3859   output-file-type: ".html"
3860   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3861   data:
3862     "plot-vpp-throughput-latency"
3863   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3864   parameters:
3865   - "latency"
3866   - "parent"
3867   traces:
3868     boxmean: False
3869   layout:
3870     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3871     layout:
3872       "plot-latency"
3873
3874 -
3875   type: "plot"
3876   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3877   algorithm: "plot_latency_box"
3878   output-file-type: ".html"
3879   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3880   data:
3881     "plot-vpp-throughput-latency"
3882   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3883   parameters:
3884   - "latency"
3885   - "parent"
3886   traces:
3887     boxmean: False
3888   layout:
3889     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3890     layout:
3891       "plot-latency"
3892
3893 # Container orchestrated
3894 -
3895   type: "plot"
3896   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3897   algorithm: "plot_latency_box"
3898   output-file-type: ".html"
3899   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3900   data:
3901     "plot-ligato-throughput-latency"
3902   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3903   parameters:
3904   - "latency"
3905   - "parent"
3906   traces:
3907     boxmean: False
3908   layout:
3909     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3910     layout:
3911       "plot-latency"
3912
3913 -
3914   type: "plot"
3915   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3916   algorithm: "plot_latency_box"
3917   output-file-type: ".html"
3918   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3919   data:
3920     "plot-ligato-throughput-latency"
3921   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3922   parameters:
3923   - "latency"
3924   - "parent"
3925   traces:
3926     boxmean: False
3927   layout:
3928     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3929     layout:
3930       "plot-latency"