resources/tools/presentation/specification_CPTA.yaml

   1 # Copyright (c) 2018 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 # This is the specification of parameters for "Continuous Performance Trending
  15 # and Analysis" feature provided by PAL.
  16
  17 -
  18   type: "environment"
  19   configuration:
  20     # Debug mode:
  21     # - Skip:
  22     #   - Download of input data files
  23     # - Do:
  24     #   - Read data from given zip / xml files
  25     #   - Set the configuration as it is done in normal mode
  26     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  27     CFG[DEBUG]: 0
  28
  29   paths:
  30     # Top level directories:
  31     ## Working directory
  32     DIR[WORKING]: "_tmp"
  33     ## Build directories
  34     DIR[BUILD,HTML]: "_build"
  35     ## Static .rst files
  36     DIR[RST]: "../../../docs/cpta"
  37
  38     # Static html content
  39     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  40     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  41     # DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  42     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  43
  44     # Working directories
  45     ## Input data files (.zip, .xml)
  46     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  47     ## Static source files from git
  48     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  49     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  50
  51     # .css patch file
  52     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  53     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  54
  55   urls:
  56     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  57     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
  58     URL[NEXUS]: "https://docs.fd.io/csit"
  59     DIR[NEXUS]: "report/_static/archive"
  60
  61   make-dirs:
  62   # List the directories which are created while preparing the environment.
  63   # All directories MUST be defined in "paths" section.
  64   - "DIR[WORKING,DATA]"
  65   - "DIR[WORKING,SRC,STATIC]"
  66   - "DIR[BUILD,HTML]"
  67   - "DIR[STATIC,VPP]"
  68   - "DIR[STATIC,ARCH]"
  69   build-dirs:
  70   # List the directories where the results (build) is stored.
  71   # All directories MUST be defined in "paths" section.
  72   - "DIR[BUILD,HTML]"
  73
  74 -
  75   type: "configuration"
  76
  77   data-sets:
  78 # TODO: Specify input data, this is only an example:
  79     plot-performance-trending:
  80       csit-vpp-perf-mrr-daily-master:
  81         start: 9
  82         end: 14 # "lastSuccessfulBuild"  # take all from the 'start'
  83
  84   plot-layouts:
  85     plot-cpta:
  86       title: ""
  87       autosize: False
  88       showlegend: True
  89       width: 1100
  90       height: 800
  91       yaxis:
  92         showticklabels: True
  93         title: "Throughput [Mpps]"
  94         hoverformat: ".4s"
  95         range: []
  96         gridcolor: "rgb(238, 238, 238)"
  97         linecolor: "rgb(238, 238, 238)"
  98         showline: True
  99         zeroline: False
 100         tickcolor: "rgb(238, 238, 238)"
 101         linewidth: 1
 102         showgrid: True
 103       xaxis:
 104         showticklabels: True
 105         title: "VPP Performance Trending Job ID"
 106         autorange: True
 107         showgrid: True
 108         gridcolor: "rgb(238, 238, 238)"
 109         linecolor: "rgb(238, 238, 238)"
 110         fixedrange: False
 111         zeroline: False
 112         tickcolor: "rgb(238, 238, 238)"
 113         showline: True
 114         linewidth: 1
 115         autotick: True
 116       margin:
 117         r: 20
 118         b: 50
 119         t: 50
 120         l: 70
 121       legend:
 122         orientation: "h"
 123         traceorder: "normal"
 124 #        tracegroupgap: 10
 125 #        bordercolor: "rgb(238, 238, 238)"
 126 #        borderwidth: 1
 127
 128 -
 129   type: "debug"
 130   general:
 131     input-format: "xml"  # zip or xml
 132     extract: "robot-plugin/output.xml"  # Only for zip
 133   builds:
 134     # The files must be in the directory DIR[WORKING,DATA]
 135     csit-vpp-perf-mrr-daily-master:
 136     -
 137       build: 1
 138       file: "{DIR[WORKING,DATA]}/output_mrr_1.xml"
 139     -
 140       build: 2
 141       file: "{DIR[WORKING,DATA]}/output_mrr_2.xml"
 142     -
 143       build: 3
 144       file: "{DIR[WORKING,DATA]}/output_mrr_3.xml"
 145     -
 146       build: 4
 147       file: "{DIR[WORKING,DATA]}/output_mrr_4.xml"
 148     -
 149       build: 5
 150       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 151     -
 152       build: 6
 153       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 154     -
 155       build: 7
 156       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 157     -
 158       build: 8
 159       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 160     -
 161       build: 9
 162       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 163     -
 164       build: 10
 165       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 166     -
 167       build: 11
 168       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 169     -
 170       build: 12
 171       file: "{DIR[WORKING,DATA]}/output_mrr_5.xml"
 172
 173 -
 174   type: "static"
 175   src-path: "{DIR[RST]}"
 176   dst-path: "{DIR[WORKING,SRC]}"
 177
 178 -
 179   type: "input"  # Ignored in debug mode
 180   general:
 181     file-name: "output.xml.log.gz"
 182     file-format: ".gz"
 183     download-path: "{job}/{build}/archives/{filename}"
 184     extract: "output.xml"
 185 #    file-name: "robot-plugin.zip"
 186 #    file-format: ".zip"
 187 #    download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 188 #    extract: "robot-plugin/output.xml"
 189   builds:
 190     csit-vpp-perf-mrr-daily-master:
 191       start: 9
 192       end: 14 #"lastSuccessfulBuild"  # take all from the 'start'
 193 #    csit-vpp-perf-check-master:
 194 #      start: 22
 195 #      end: 22
 196
 197 -
 198   type: "output"
 199   output:
 200 #   "report"
 201     "CPTA"  # Continuous Performance Trending and Analysis
 202   format:
 203     html:
 204     - full
 205     pdf:
 206     - minimal
 207
 208 ################################################################################
 209 ###                                 C P T A                                  ###
 210 ################################################################################
 211
 212 # Plots VPP Continuous Performance Trending and Analysis
 213 -
 214   type: "cpta"
 215   title: "Continuous Performance Trending and Analysis"
 216   algorithm: "cpta"
 217   output-file-type: ".html"
 218   output-file: "{DIR[STATIC,VPP]}/cpta"
 219   plots:
 220
 221 # L2
 222
 223     - title: "VPP 1T1C L2 64B Packet Throughput - {period} Trending"
 224       output-file-name: "l2"
 225       data: "plot-performance-trending"
 226       filter: "'MRR' and '64B' and ('BASE' or 'SCALE') and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
 227       parameters:
 228       - "result"
 229       - "name"
 230       periods:
 231       - 1
 232       - 5
 233       - 30
 234       layout: "plot-cpta"
 235
 236 # IPv4
 237
 238     - title: "VPP 1T1C IPv4 64B Packet Throughput - {period} Trending"
 239       output-file-name: "ip4"
 240       data: "plot-performance-trending"
 241       filter: "'MRR' and '64B' and ('BASE' or 'SCALE' or 'FEATURE') and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
 242       parameters:
 243       - "result"
 244       - "name"
 245       periods:
 246       - 1
 247       - 5
 248       - 30
 249       layout: "plot-cpta"
 250
 251 # IPv6
 252
 253     - title: "VPP 1T1C IPv6 78B Packet Throughput - {period} Trending"
 254       output-file-name: "ip6"
 255       data: "plot-performance-trending"
 256       filter: "'MRR' and '78B' and ('BASE' or 'SCALE' or 'FEATURE') and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
 257       parameters:
 258       - "result"
 259       - "name"
 260       periods:
 261       - 1
 262       - 5
 263       - 30
 264       layout: "plot-cpta"
 265
 266 # Container memif
 267
 268     - title: "VPP 1T1C L2 Container memif 64B Packet Throughput - {period} Trending"
 269       output-file-name: "container-memif-l2-1t1c-x520"
 270       data: "plot-performance-trending"
 271       filter: "'NIC_Intel-X520-DA2' and 'MRR' and '64B' and 'BASE' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 272       parameters:
 273       - "result"
 274       - "name"
 275       periods:
 276       - 1
 277       - 5
 278       - 30
 279       layout: "plot-cpta"
 280
 281     - title: "VPP 2T2C L2 Container memif 64B Packet Throughput - {period} Trending"
 282       output-file-name: "container-memif-l2-2t2c-x520"
 283       data: "plot-performance-trending"
 284       filter: "'NIC_Intel-X520-DA2' and 'MRR' and '64B' and 'BASE' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 285       parameters:
 286       - "result"
 287       - "name"
 288       periods:
 289       - 1
 290       - 5
 291       - 30
 292       layout: "plot-cpta"
 293
 294     - title: "VPP 1T1C L2 Container memif 64B Packet Throughput - {period} Trending"
 295       output-file-name: "container-memif-l2-1t1c-xl710"
 296       data: "plot-performance-trending"
 297       filter: "'NIC_Intel-XL710' and 'MRR' and '64B' and 'BASE' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 298       parameters:
 299       - "result"
 300       - "name"
 301       periods:
 302       - 1
 303       - 5
 304       - 30
 305       layout: "plot-cpta"
 306
 307     - title: "VPP 2T2C L2 Container memif 64B Packet Throughput - {period} Trending"
 308       output-file-name: "container-memif-l2-2t2c-xl710"
 309       data: "plot-performance-trending"
 310       filter: "'NIC_Intel-XL710' and 'MRR' and '64B' and 'BASE' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 311       parameters:
 312       - "result"
 313       - "name"
 314       periods:
 315       - 1
 316       - 5
 317       - 30
 318       layout: "plot-cpta"
 319
 320 # VM vhost
 321
 322     - title: "VPP 1T1C VM vhost ethip4 64B Packet Throughput - {period} Trending"
 323       output-file-name: "vm-vhost-ethip4-1t1c-x520"
 324       data: "plot-performance-trending"
 325       filter: "'NIC_Intel-X520-DA2' and '64B' and 'MRR' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
 326       parameters:
 327       - "result"
 328       - "name"
 329       periods:
 330       - 1
 331       - 5
 332       - 30
 333       layout: "plot-cpta"
 334
 335     - title: "VPP 2T2C VM vhost ethip4 64B Packet Throughput - {period} Trending"
 336       output-file-name: "vm-vhost-ethip4-2t2c-x520"
 337       data: "plot-performance-trending"
 338       filter: "'NIC_Intel-X520-DA2' and '64B' and 'MRR' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
 339       parameters:
 340       - "result"
 341       - "name"
 342       periods:
 343       - 1
 344       - 5
 345       - 30
 346       layout: "plot-cpta"
 347
 348     - title: "VPP 1T1C VM vhost eth 64B Packet Throughput - {period} Trending"
 349       output-file-name: "vm-vhost-eth-1t1c-x520"
 350       data: "plot-performance-trending"
 351       filter: "'NIC_Intel-X520-DA2' and '64B' and 'MRR' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
 352
 353       parameters:
 354       - "result"
 355       - "name"
 356       periods:
 357       - 1
 358       - 5
 359       - 30
 360       layout: "plot-cpta"
 361
 362     - title: "VPP 2T2C VM vhost eth 64B Packet Throughput - {period} Trending"
 363       output-file-name: "vm-vhost-eth-2t2c-x520"
 364       data: "plot-performance-trending"
 365       filter: "'NIC_Intel-X520-DA2' and '64B' and 'MRR' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
 366       parameters:
 367       - "result"
 368       - "name"
 369       periods:
 370       - 1
 371       - 5
 372       - 30
 373       layout: "plot-cpta"
 374
 375     - title: "VPP 1T1C VM vhost eth 64B Packet Throughput - {period} Trending"
 376       output-file-name: "vm-vhost-eth-1t1c-xl710"
 377       data: "plot-performance-trending"
 378       filter: "'NIC_Intel-XL710' and '64B' and 'MRR' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
 379
 380       parameters:
 381       - "result"
 382       - "name"
 383       periods:
 384       - 1
 385       - 5
 386       - 30
 387       layout: "plot-cpta"
 388
 389     - title: "VPP 2T2C VM vhost eth 64B Packet Throughput - {period} Trending"
 390       output-file-name: "vm-vhost-eth-2t2c-xl710"
 391       data: "plot-performance-trending"
 392       filter: "'NIC_Intel-XL710' and '64B' and 'MRR' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
 393       parameters:
 394       - "result"
 395       - "name"
 396       periods:
 397       - 1
 398       - 5
 399       - 30
 400       layout: "plot-cpta"