docs/content/overview/c_dash/structure.md

   1 ---
   2 title: "Structure"
   3 weight: 2
   4 ---
   5
   6 # Structure
   7
   8 Our presentation layer named “CSIT-Dash” provides customizable views on
   9 performance data. We can split it into two groups. The first one is performance
  10 trending, which displays data collected on daily basis. The other one presents
  11 data coming from release testing. In addition, we publish also information and
  12 statistics about our test jobs, failures and anomalies and the CSIT
  13 documentation.
  14 The screen of CSIT-Dash is divided in two parts. On the left side, there is the
  15 control panel which makes possible to select required information. The right
  16 side then displays the user-selected data in graphs or tables.
  17
  18 The structure of C-Docs consist of:
  19
  20 - Performance Trending
  21 - Per Release Performance
  22 - Per Release Performance Comparisons
  23 - Per Release Coverage Data
  24 - Test Job Statistics
  25 - Failures and Anomalies
  26 - Documentation
  27
  28 ## Performance Trending
  29
  30 Performance trending shows measured per run averages of MRR values, NDR or PDR
  31 values, user-selected telemetry metrics, group average values, and detected
  32 anomalies.
  33
  34 In addition, the graphs show dynamic labels while hovering over graph data
  35 points. By clicking on data samples, the user gets detailed information and for
  36 latency graphs also high dynamic range histogram of measured latency.
  37 Latency by percentile distribution plots are used to show packet latency
  38 percentiles at different packet rate load levels:
  39 - No-Load, latency streams only,
  40 - Low-Load at 10% PDR,
  41 - Mid-Load at 50% PDR and
  42 - High-Load at 90% PDR.
  43
  44 ## Per Release Performance
  45
  46 Per release performance section presents the graphs based on the results data
  47 obtained from the release test jobs. In order to verify benchmark results
  48 repeatability, CSIT performance tests are executed multiple times (target: 10
  49 times) on each physical testbed type. Box-and-Whisker plots are used to display
  50 variations in measured throughput and latency (PDR tests only) values.
  51
  52 In addition, the graphs show dynamic labels while hovering over graph data
  53 points. By clicking on data samples or the box, the user gets detailed
  54 information and for latency graphs also high dynamic range histogram of measured
  55 latency.
  56 Latency by percentile distribution plots are used to show packet latency
  57 percentiles at different packet rate load levels:
  58 - No-Load, latency streams only,
  59 - Low-Load at 10% PDR,
  60 - Mid-Load at 50% PDR and
  61 - High-Load at 90% PDR.
  62
  63 ## Per Release Performance Comparisons
  64
  65 Relative comparison of packet throughput (NDR, PDR and MRR) and latency (PDR)
  66 between user-selected releases, test beds, NICs, ... is calculated from results
  67 of tests running on physical test beds, in 1-core, 2-core and 4-core
  68 configurations.
  69
  70 Listed mean and standard deviation values are computed based on a series of the
  71 same tests executed against respective VPP releases to verify test results
  72 repeatability, with percentage change calculated for mean values. Note that the
  73 standard deviation is quite high for a small number of packet throughput tests,
  74 what indicates poor test results repeatability and makes the relative change of
  75 mean throughput value not fully representative for these tests. The root causes
  76 behind poor results repeatability vary between the test cases.
  77
  78 ## Per Release Coverage Data
  79
  80 Detailed result tables generated from CSIT test job executions. The coverage
  81 tests include also tests which are not run in iterative performance builds.
  82 The tables present NDR and PDR packet throughput (packets per second and bits
  83 per second) and latency percentiles (microseconds) at different packet rate load
  84 levels:
  85 - No-Load, latency streams only,
  86 - Low-Load at 10% PDR,
  87 - Mid-Load at 50% PDR and
  88 - High-Load at 90% PDR.
  89
  90 ## Test Job Statistics
  91
  92 The elementary statistical data (number of passed and failed tests and the
  93 duration) of all daily and weekly trending performance jobs.
  94 In addition, the graphs show dynamic labels while hovering over graph data
  95 points with detailed information. By clicking on the graph, user gets the job
  96 summary with the list of failed tests.
  97
  98 ## Failures and Anomalies
  99
 100 The presented tables list:
 101 - last build summary,
 102 - failed tests,
 103 - progressions and
 104 - regressions
 105
 106 for all daily and weekly trending performance jobs.
 107
 108 ## Documentation
 109
 110 This documentation describing the methodology, infrastructure and release notes
 111 for each CSIT release.