resources/tools/presentation/configuration.yaml

   1 # NOTE: This is only an example. The work is in progress so it can be changed.
   2 -
   3   type: "environment"
   4   configuration:
   5     # Debug mode:
   6     # - Skip:
   7     #   - Download of input data files
   8     # - Do:
   9     #   - Read data from given zip / xml files
  10     #   - Set the configuration as it is done in normal mode
  11     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  12     CFG[DEBUG]: 1
  13
  14     CFG[BLD_LATEX]: 1  # Remove?
  15     CFG[BLD_HTML]: 1  # Remove?
  16
  17   paths:
  18     DIR[WORKING]: "_tmp"
  19     DIR[BUILD,HTML]: "_build"
  20     DIR[BUILD,LATEX]: "_build_latex"
  21     DIR[RST]: "../../../docs/report"
  22
  23     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  24
  25     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  26     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  27     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  28     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  29     DIR[STATIC,TREND]: "{DIR[STATIC]}/trending"
  30
  31     DIR[PLOT,VPP]: "{DIR[WORKING]}/vpp_plot"
  32     DIR[PLOT,DPDK]: "{DIR[WORKING]}/dpdk_plot"
  33
  34     DIR[DTR]: "{DIR[RST]}/detailed_test_results"
  35     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  36     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  37     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  38     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  39     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  40     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  41     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[RST]}/vpp_performance_tests/performance_improvements"
  42
  43     DIR[DTC]: "{DIR[RST]}/test_configuration"
  44     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  45     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  46
  47     DIR[DTO]: "{DIR[RST]}/test_operational_data"
  48     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  49
  50     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  51
  52   urls:
  53     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  54     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  55
  56   make-dirs:
  57   # List the directories which are created while preparing the environment.
  58   # All directories MUST be defined in "paths" section.
  59   - "DIR[WORKING,DATA]"
  60   - "DIR[STATIC,VPP]"
  61   - "DIR[STATIC,DPDK]"
  62   - "DIR[STATIC,ARCH]"
  63   - "DIR[STATIC,TREND]"
  64   - "DIR[PLOT,VPP]"
  65   - "DIR[PLOT,DPDK]"
  66   - "DIR[BUILD,LATEX]"
  67
  68   remove-dirs:
  69   # List the directories which are deleted while cleaning the environment.
  70   # All directories MUST be defined in "paths" section.
  71   - "DIR[WORKING]"
  72
  73   build-dirs:
  74   # List the directories where the results (build) is stored.
  75   # All directories MUST be defined in "paths" section.
  76   - "DIR[BUILD,HTML]"
  77   - "DIR[BUILD,LATEX]"
  78
  79 -
  80   type: "debug"
  81   general:
  82     input-format: "xml"  # zip or xml
  83     extract: "output.xml"  # Only for zip
  84   builds:
  85     # The files must be in the directory DIR[WORKING,DATA]
  86     csit-vpp-perf-1707-all:
  87     -
  88       build: 13
  89       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__13__output.xml"
  90     -
  91       build: 16
  92       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
  93     -
  94       build: 17
  95       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
  96
  97 -
  98   type: "input"  # Ignored in debug mode
  99   general:
 100     file-name: "robot-plugin.zip"
 101     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 102 #    file-name: "output_perf_data.xml"
 103 #    download-file-name: "{job}/{build}/robot/report/{filename}"
 104     extract: "output.xml"
 105   builds:
 106     csit-vpp-perf-1707-all:
 107     - 9
 108     - 10
 109     - 13
 110     - 14
 111     - 15
 112     - 16
 113     - 17
 114     - 18
 115     - 19
 116     - 21
 117     - 22
 118     csit-dpdk-perf-1704-all:
 119     - 1
 120     - 2
 121     - 3
 122     - 4
 123     - 5
 124     - 6
 125     - 7
 126     - 8
 127     - 9
 128     - 10
 129     csit-vpp-functional-1707-ubuntu1604-virl:
 130     - lastSuccessfulBuild
 131     hc2vpp-csit-perf-master-ubuntu1604:
 132     - 8
 133     - 9
 134     hc2vpp-csit-integration-1707-ubuntu1604:
 135     - lastSuccessfulBuild
 136     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
 137     - 2
 138     csit-vpp-perf-1704-all:
 139     - 6
 140     - 7
 141     - 8
 142     - 9
 143     - 10
 144     - 12
 145     - 14
 146     - 15
 147     - 16
 148     - 17
 149     csit-dpdk-perf-1704-all:
 150     - 1
 151     - 2
 152     - 3
 153     - 4
 154     - 6
 155     - 7
 156     - 8
 157     - 9
 158     - 10
 159     - 11
 160
 161 -
 162   type: "output"
 163   format:
 164     html:
 165     - full
 166     pdf:
 167     - full
 168     - marketing
 169
 170 -
 171 # Example
 172   type: "table"
 173   title: "Performance improvments"
 174   algoritm: "performance-improvements"
 175   template: "templates/tmpl_performance_improvements.csv"
 176   output-file-format: "csv"
 177   output-file: "{DIR[WORKING]}/path/to/my_table.csv"
 178   columns:
 179   -
 180     title: "VPP Functionality"
 181     data: "template 2"
 182   -
 183     title: "Test Name"
 184     data: "template 3"
 185   -
 186     title: "VPP-17.04 mean [Mpps]"
 187     data: "vpp 1704 performance mean"
 188   -
 189     title: "VPP-17.07 mean [Mpps]"
 190     data: "vpp 1707 performance mean"
 191   -
 192     title: "VPP-17.07 stdev [Mpps]"
 193     data: "vpp 1707 performance stdev"
 194   -
 195     title: "17.04 to 17.07 change"
 196     data: "change-relative 4 5"
 197   rows: "generated"
 198   data:
 199     csit-vpp-perf-1707-all:
 200     - 13
 201     - 16
 202     - 17
 203   # Keep this formatting, the filter is enclosed with " (quotation mark) and
 204   # each tag is enclosed with ' (apostrophe).
 205   filter: "'64B' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 206   parameters:
 207   - "throughput"
 208
 209 -
 210   type: "plot"
 211   output-file-type: "html"
 212   output-file: "{DIR[WORKING]}/path/to/my_plot.html"
 213   plot-type: "performance-box"   # box, line
 214   plot-title: "plot title"
 215   x-axis: "x-axis title"
 216   y-axis: "y-axis title"
 217   data:
 218     csit-vpp-perf-1707-all:
 219     - 9
 220     - 10
 221     - 13
 222     - 14
 223     - 15
 224     - 16
 225     - 17
 226     - 18
 227     - 19
 228     - 21
 229   filter:
 230     - "'64B' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"