Add ability to parse more kinds of test results 96/35196/33
authorVratko Polak <vrpolak@cisco.com>
Thu, 17 Aug 2023 12:17:33 +0000 (14:17 +0200)
committerVratko Polak <vrpolak@cisco.com>
Thu, 17 Aug 2023 12:17:33 +0000 (14:17 +0200)
commit0634490c0557d94856f6061c323cf6a2592f294b
treee44b680b5626d64680c46833498d27bf411d25b0
parent14f0a243ce732df3ea7316fc20ce6132dc54f384
Add ability to parse more kinds of test results

Previously, only BMRR results were recongnized.
Now also lower bounds for PDR (optionally NDR) and soak are recongnized.
This code expects all tests are of the same type,
e.g. when both MRR and NDRPDR tests are run,
only MRR result will get parsed.

If test or parsing fails, generate fake data based on overall pass or fail,
so at least passrate of unknown tests can be compared in theory.

Currently affects only per-patch job (vpp-csit-verify-perf-*),
but is useful mainly for the upcoming bisect job.

+ Do not force MRR test type in vpp-csit jobs.
 - Some test results are still not recognized (e.g. hoststack).
+ Do not exit per-patch job early on robot failure.
 + Only changes that introduce a failure (not present in parent) get -1.
 + The same is true also for introducing unrecognized test results.
 - The fake values from passrate can be misleading.
+ Add default nic tag only if NIC tag is missing.
 + In all jobs, not only in vpp-csit ones.
 + Do not add NIC tags for device jobs.
- No job supports NDR parsing yet.
 + Can be enabled in future from ci-management side.

Change-Id: Iee904116d1ffed69aec7e31821c67d8447f49ebe
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
resources/libraries/bash/entry/per_patch_perf.sh
resources/libraries/bash/function/common.sh
resources/libraries/bash/function/per_patch.sh