CSIT-726: Automate data collection for csv files for perf improvments

[csit.git] / resources / tools / report_gen / run_report.sh

diff --git a/resources/tools/report_gen/run_report.sh b/resources/tools/report_gen/run_report.sh
index 6ff3ad9..db07977 100755 (executable)
--- a/resources/tools/report_gen/run_report.sh
+++ b/resources/tools/report_gen/run_report.sh
@@ -94,13 +94,13 @@ cp ${DIR[PLOT,DPDK]}/* ${DIR[STATIC,TREND]}
 ### FUNCTIONAL SOURCE DATA
 
 #if [[ ${DEBUG} -eq 1 ]] ;
-#    cp ./${JOB[FUNC,DPDK]}-${JOB[FUNC,VPP,BLD]}.zip ${DIR[STATIC,ARCH]}/${JOB[FUNC,DPDK]}-${JOB[FUNC,VPP,BLD]}.zip
+#    cp ./${JOB[FUNC,VPP]}-${JOB[FUNC,VPP,BLD]}.zip ${DIR[STATIC,ARCH]}/${JOB[FUNC,VPP]}-${JOB[FUNC,VPP,BLD]}.zip
 #fi
 
 if [[ ${DEBUG} -eq 0 ]] ;
 then
-    curl --fail --silent ${URL[JENKINS,CSIT]}/${JOB[FUNC,DPDK]}/${JOB[FUNC,VPP,BLD]}/robot/report/\*zip\*/robot-plugin.zip \
-        --output ${DIR[STATIC,ARCH]}/${JOB[FUNC,DPDK]}-${JOB[FUNC,VPP,BLD]}.zip
+    curl --fail --silent ${URL[JENKINS,CSIT]}/${JOB[FUNC,VPP]}/${JOB[FUNC,VPP,BLD]}/robot/report/\*zip\*/robot-plugin.zip \
+        --output ${DIR[STATIC,ARCH]}/${JOB[FUNC,VPP]}-${JOB[FUNC,VPP,BLD]}.zip
 fi
 
 ### HONEYCOMB SOURCE DATA
@@ -143,19 +143,28 @@ then
         --output ${DIR[DTO,PERF,VPP]}/vpp_performance_operational_data.rst \
         --data "SH_RUN" --formatting rst --start 4 --level 2
 
+    blds=${JOB[PERF,VPP,BLD]}
+    for i in ${blds[@]}; do
+        unzip -o ${DIR[STATIC,ARCH]}/${JOB[PERF,VPP]}-${i}.zip -d ${DIR[WORKING]}/
+        ./run_robot_json_data.py \
+            --input ${DIR[WORKING]}/output.xml \
+            --output ${DIR[DTR,PERF,VPP,IMPRV]}/${JOB[PERF,VPP]}-${i}.json \
+            --vdevice ${i}
+    done
+
     # DPDK PERF
-    unzip -o ${DIR[STATIC,ARCH]}/${JOB[PERF,DPDK]}-${JOB[PERF,DPDK,FBLD]}.zip -d ${DIR[STATIC,ARCH]}/
+    unzip -o ${DIR[STATIC,ARCH]}/${JOB[PERF,DPDK]}-${JOB[PERF,DPDK,FBLD]}.zip -d ${DIR[WORKING]}/
     python run_robot_data.py -i ${DIR[WORKING]}/robot-plugin/output.xml \
         --output ${DIR[DTR,PERF,DPDK]}/dpdk_performance_results.rst \
         --formatting rst --start 4 --level 2
 
     # VPP FUNC
-    unzip -o ${DIR[STATIC,ARCH]}/${JOB[FUNC,DPDK]}-${JOB[FUNC,VPP,BLD]}.zip -d ${DIR[WORKING]}/
+    unzip -o ${DIR[STATIC,ARCH]}/${JOB[FUNC,VPP]}-${JOB[FUNC,VPP,BLD]}.zip -d ${DIR[WORKING]}/
     python run_robot_data.py -i ${DIR[WORKING]}/robot-plugin/output.xml \
-        --output ${DIR[DTR,FUNC,VPP}/vpp_functional_results.rst \
+        --output ${DIR[DTR,FUNC,VPP]}/vpp_functional_results.rst \
         --formatting rst --start 5 --level 2
     python run_robot_teardown_data.py -i ${DIR[WORKING]}/robot-plugin/output.xml \
-        --output ${DIR[DTR,FUNC,VPP}/vpp_functional_configuration.rst \
+        --output ${DIR[DTC,FUNC,VPP]}/vpp_functional_configuration.rst \
         --data "VAT_H" --formatting rst --start 5 --level 2
 
     # HC FUNC
@@ -171,6 +180,11 @@ then
         --formatting rst --start 5 --level 2
 fi
 
+# Generate tables for performance improvements
+./run_improvments_tables.py \
+    --input ${DIR[DTR,PERF,VPP,IMPRV]} \
+    --output ${DIR[DTR,PERF,VPP,IMPRV]}
+
 # Delete temporary json files
 find ${DIR[RST]} -name "*.json" -type f -delete