Report: Use rounded values
[csit.git] / resources / tools / report_gen / run_improvments_tables.py
1 #!/usr/bin/python
2
3 # Copyright (c) 2017 Cisco and/or its affiliates.
4 # Licensed under the Apache License, Version 2.0 (the "License");
5 # you may not use this file except in compliance with the License.
6 # You may obtain a copy of the License at:
7 #
8 #     http://www.apache.org/licenses/LICENSE-2.0
9 #
10 # Unless required by applicable law or agreed to in writing, software
11 # distributed under the License is distributed on an "AS IS" BASIS,
12 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13 # See the License for the specific language governing permissions and
14 # limitations under the License.
15
16 """Generate csv files for the chapter "CSIT Release Notes" from json files
17 generated by Jenkins' jobs.
18 """
19
20 from sys import exit as sys_exit
21 from os import walk
22 from os.path import join
23 from math import sqrt
24 from argparse import ArgumentParser, RawDescriptionHelpFormatter
25 from json import load
26
27
28 EXT_JSON = ".json"
29 EXT_TMPL = ".template"
30 EXT_CSV = ".csv"
31
32
33 def get_files(path, extension):
34     """Generates the list of files to process.
35
36     :param path: Path to files.
37     :param extension: Extension of files to process. If it is the empty string,
38     all files will be processed.
39     :type path: str
40     :type extension: str
41     :returns: List of files to process.
42     :rtype: list
43     """
44
45     file_list = list()
46     for root, _, files in walk(path):
47         for filename in files:
48             if extension:
49                 if filename.endswith(extension):
50                     file_list.append(join(root, filename))
51             else:
52                 file_list.append(join(root, filename))
53
54     return file_list
55
56
57 def parse_args():
58     """Parse arguments from cmd line.
59
60     :returns: Parsed arguments.
61     :rtype ArgumentParser
62     """
63
64     parser = ArgumentParser(description=__doc__,
65                             formatter_class=RawDescriptionHelpFormatter)
66     parser.add_argument("-i", "--input",
67                         required=True,
68                         help="Input folder with data files.")
69     parser.add_argument("-o", "--output",
70                         required=True,
71                         help="Output folder with csv files and templates for "
72                              "csv files.")
73     return parser.parse_args()
74
75
76 def calculate_stats(data):
77     """Calculate statistics:
78     - average,
79     - standard deviation.
80
81     :param data: Data to process.
82     :type data: list
83     :returns: Average and standard deviation.
84     :rtype: tuple
85     """
86
87     if len(data) == 0:
88         return None, None
89
90     def average(items):
91         """Calculate average from the items.
92
93         :param items: Average is calculated from these items.
94         :type items: list
95         :returns: Average.
96         :rtype: float
97         """
98         return float(sum(items)) / len(items)
99
100     avg = average(data)
101     variance = [(x - avg) ** 2 for x in data]
102     stdev = sqrt(average(variance))
103
104     return avg, stdev
105
106
107 def write_line_to_file(file_handler, item):
108     """Write a line to the csv file.
109
110     :param file_handler: File handler for the csv file. It must be open for
111      writing text.
112     :param item: Item to be written to the file.
113     :type file_handler: BinaryIO
114     :type item: dict
115     """
116
117     mean = "" if item["mean"] is None else "{:.1f}".format(item["mean"])
118     stdev = "" if item["stdev"] is None else "{:.1f}".format(item["stdev"])
119     change = "" if item["change"] is None else "{:.0f}%".format(item["change"])
120     file_handler.write("{},{},{},{}\n".format(item["old"], mean, stdev, change))
121
122
123 def main():
124     """Main function to generate csv files for the chapter "CSIT Release Notes"
125     from json files generated by Jenkins' jobs.
126     """
127
128     args = parse_args()
129
130     json_files = get_files(args.input, EXT_JSON)
131     tmpl_files = get_files(args.output, EXT_TMPL)
132
133     if len(json_files) == 0:
134         print("No json data to process.")
135         exit(1)
136
137     if len(tmpl_files) == 0:
138         print("No template files to process.")
139         exit(1)
140
141     # Get information from template files
142     csv_data = list()
143     for tmpl_file in tmpl_files:
144         with open(tmpl_file, mode='r') as file_handler:
145             for line in file_handler:
146                 line_list = line.split(',')
147                 try:
148                     csv_data.append({
149                         "ID": line_list[0],
150                         "type": line_list[0].rsplit("-", 1)[-1],
151                         "old": ",".join(line_list[1:])[:-1],
152                         "last_old": line_list[-1][:-1],
153                         "rates": list(),
154                         "mean": None,
155                         "stdev": None,
156                         "change": None})
157                 except IndexError:
158                     pass
159
160     # Update existing data with the new information from json files
161     for json_file in json_files:
162         with open(json_file) as file_handler:
163             tests_data = load(file_handler)
164             for item in csv_data:
165                 try:
166                     rate = tests_data["data"][item["ID"]]["throughput"]["value"]
167                     item["rates"].append(rate)
168                 except KeyError:
169                     pass
170
171     # Add statistics
172     for item in csv_data:
173         mean, stdev = calculate_stats(item["rates"])
174         if mean is not None:
175             mean = float(mean) / 1000000
176             old = float(item["last_old"])
177             item["mean"] = mean
178             item["change"] = ((round(mean, 1) - round(old, 1)) / round(old, 1))\
179                              * 100
180             item["stdev"] = stdev / 1000000
181
182     # Sort the list, key = change
183     csv_data.sort(key=lambda data: data["change"], reverse=True)
184
185     # Write csv files
186     for tmpl_file in tmpl_files:
187         csv_file = tmpl_file.replace(EXT_TMPL, EXT_CSV)
188         with open(csv_file, "w") as file_handler:
189             for item in csv_data:
190                 if "pdr_" in csv_file \
191                         and "_others" not in csv_file \
192                         and item["type"] == "pdrdisc" \
193                         and item["change"] >= 9.5:
194                     write_line_to_file(file_handler, item)
195                 elif "pdr_" in csv_file \
196                         and "_others" in csv_file \
197                         and item["type"] == "pdrdisc" \
198                         and item["change"] < 9.5:
199                     write_line_to_file(file_handler, item)
200                 elif "ndr_" in csv_file \
201                         and "_others" not in csv_file \
202                         and item["type"] == "ndrdisc" \
203                         and item["change"] >= 9.5:
204                     write_line_to_file(file_handler, item)
205                 elif "ndr_" in csv_file \
206                         and "_others" in csv_file \
207                         and item["type"] == "ndrdisc" \
208                         and item["change"] < 9.5:
209                     write_line_to_file(file_handler, item)
210
211
212 if __name__ == "__main__":
213     sys_exit(main())

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.