docs/job_specs/perf_tests_job_specs.md

   1 ## Performance Tests Job Specifications
   2
   3 ## Scope
   4
   5 Following FD.io CSIT test job specifications are provided in this note:
   6
   7 - Select list of performance tests for daily trending and extensive per
   8   release test coverage (behaviour repeatibility verification, graphs,
   9   analytics and comparisons).
  10 - Full list of performance tests for per release results reporting.
  11
  12 Next sections list test selection criteria for each group, with testbed
  13 environments listed in round brackets (...).
  14
  15 ## Select List Test Jobs
  16
  17 ### NICs
  18
  19 - Primary: xxv710 (2n-skx, 3n-skx), x553 (3n-tsh).
  20 - Secondary: x710 (2n-skx, 3n-skx).
  21
  22 ### Test Suites
  23
  24 - Primary: all forwarding baseline, all forwarding scale, some feature
  25   spot checks.
  26 - Secondary: some forwarding base, forwarding maximum scale.
  27
  28 ### Frame Sizes
  29
  30 - 64B: ip4, ip4_tunnels, l2, vts, container_memif, vm_vhost.
  31 - 78B: ip6, ip6_tunnels, srv6.
  32 - imix: crypto, nfv_density.
  33
  34 ### Processor Cores
  35
  36 - Cores: 1c, 2c, 4c.
  37
  38 ## Full List Test Jobs
  39 ### NICs
  40
  41 - Primary: xxv710 (2n-skx, 3n-skx), x553 (3n-tsh).
  42 - Secondary: x710 (skx).
  43
  44 ### Test Suites
  45
  46 - Primary: all tests.
  47 - Secondary: some forwarding base, forwarding maximum scale.
  48
  49 ### Frame Sizes
  50
  51 - 64B: ip4, ip4_tunnels, l2, vts, container_memif, vm_vhost, crypto.
  52 - 78B: ip6, ip6_tunnels, srv6.
  53 - imix: all including crypto and nfv_density.
  54 - 1518B: ip4, ip4_tunnels, ip6, ip6_tunnels, srv6, l2, vts,
  55   container_memif, vm_vhost, crypto.
  56 - 9000B: ip4, ip4_tunnels, ip6, ip6_tunnels, srv6, l2, vts,
  57   container_memif, vm_vhost, crypto.
  58   - no vic1227, no vic1385 due to lack of support for 9000B.
  59
  60 ### Processor Cores
  61
  62   - Cores: 1c, 2c, 4c.
  63
  64 ## Test Job Definitions
  65 ### Test Suite Allocation per Job
  66
  67 In order to avoid multi-day jobs executing the tests, following is a
  68 simple approach to split tests across exclusive job executions:
  69
  70 - Separate jobs per (testbed environment, nic model, test-directory)
  71 - Each job executes tests for:
  72   - All specified frame sizes.
  73   - All specified cores.
  74
  75 ### Report Jobs
  76
  77 Patches defining RF Tag Selectors for each group are:
  78
  79 - select-list: https://gerrit.fd.io/r/c/csit/+/21146
  80   - Execution frequency: 10 times for report.
  81 - full-list: https://gerrit.fd.io/r/c/csit/+/21438
  82   - Incomplete definition.
  83   - Execution frequency: Once for report.
  84 - nfv_density: https://gerrit.fd.io/r/c/csit/+/21361
  85   - Execution frequency: 5..10 times for report.
  86 - tcp: https://gerrit.fd.io/r/c/csit/+/21456
  87   - Execution frequency: 10 times for report.
  88
  89 ### Daily Trending Jobs
  90
  91 Frequency of executing daily trending jobs differs between the
  92 development cycle and report generation cycle. In the latter case the
  93 frequency gets reduced in order to allocated more of a (limited)
  94 physical testbed resource to tests required for report and reduce the
  95 time required to complete data collection for report.
  96
  97 - Daily tests
  98   - Development cycle:
  99     - Frequency: vpp select-list MRR tests twice a day.
 100     - Times (UTC): every day starting at 02:00 and 14:00.
 101     - Duration: jobs are monitored to last no longer than 12 hrs.
 102   - Report cycle:
 103     - Frequency: vpp select-list MRR tests once a day.
 104     - Times (UTC): every Monday and Thursday starting at 02:00.
 105     - Duration: jobs are monitored to last no longer than 12 hrs.
 106 - Weekly tests
 107   - Development cycle:
 108     - Frequency: dpdk tests and vpp select-list NDR/PDR (MLRsearch) tests once a week.
 109     - Times (UTC): every Sunday at 02:00.
 110     - Duration: jobs are monitored to last no longer than 24 hrs.
 111   - Report cycle:
 112     - Same as in development cycle.
 113
 114 ## Exceptions
 115 ### Tests Failing Due to Known Issues
 116
 117 - KernelVM: 9000B frames are failing
 118   - https://jira.fd.io/browse/CSIT-1532
 119
 120 ## TODOs
 121
 122 - Add test types
 123   - mlrsearch
 124   - mrr
 125   - plrsearch
 126   - http/tcp
 127   - nfvdensity
 128     - vpp-ip4
 129     - vpp-ipsec
 130
 131 - Analyse trending testbed load - PM, MK
 132   - 2x 3n-skx
 133     - tunnel tests only
 134   - 4x 2n-skx
 135
 136 - Future
 137   - Add weekly ndrpdr jobs and report-like comparisons to previous release
 138
 139 ## END OF DOCUMENT