resources/tools/presentation/rca/rca-2n-clx-2t1c-pdr-rca1.yaml

   1 # CSIT progressions.
   2 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   3 64b-2t1c-avf-dot1q-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
   4 64b-2t1c-avf-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   5 64b-2t1c-avf-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
   6 64b-2t1c-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   7 # CSIT regressions.
   8 64b-2t1c-avf-ethip4-ip4scale200k-rnd: 2
   9 64b-2t1c-avf-ethip4-ip4scale2m: 7
  10 64b-2t1c-avf-ethip4-ip4scale2m-rnd: 2
  11 64b-2t1c-avf-ethip4udp-ip4base-iacl50sf-10kflows: 1
  12 64b-2t1c-avf-ethip4udp-ip4base-iacl50sl-10kflows: 1
  13 64b-2t1c-avf-ethip4udp-ip4base-oacl50sf-10kflows: 1
  14 64b-2t1c-avf-ethip4udp-ip4base-oacl50sl-10kflows: 1
  15 64b-2t1c-avf-dot1q-l2xcbase: 3
  16 64b-2t1c-dot1q-l2bdbasemaclrn-eth-2memif-1dcr: 7
  17 64b-2t1c-ethip4-ip4scale200k-rnd: 2
  18 64b-2t1c-ethip4-ip4scale2m: 7
  19 64b-2t1c-ethip4-ip4scale2m-rnd: 2
  20
  21 # Multiline string, empty lines (or \n) are required,
  22 # see https://yaml-multiline.info/
  23
  24 footnote: "
  25     [1] DONE Apparent regression in ACL tests due to Gerrit 26112. With CSIT
  26     using changed VPP API, instead of failing, misconfigured VPP passes
  27     the test, albeit with reduced performance. [CSIT-1739]
  28
  29     [2] DONE Regression in tests using random flow sequencing due to
  30     Gerrit 26456. Unpinned random seed to make TRex workers generate
  31     different sequences of packets. [CSIT-1731]
  32
  33     [3] DONE Regression in base dot1q-l2xcbase suites due to Gerrit
  34     25363. Unified dot1q handling across various tests. Previously,
  35     this one suite was different, using dot1q on one port only.
  36
  37     [5] DONE Progression in tests with VPP (l2xc) inside a VM due to
  38     Gerrit 25309. Make VPP in VM worker placement deterministic.
  39     [CSIT-1738]
  40
  41     [7] POSTPONED Possible anomaly, but stdev of results is high.
  42     Performance differences considered to probably be just noise.
  43
  44     [9] OPEN Progression in all ip6 scale tests. Changes to vppinfra
  45     bihash may have improved code efficiency. [CSIT-1735]
  46
  47     [10] OPEN Progression in ip6 base tests with dot1q. [CSIT-1746]
  48
  49     [11] OPEN Progression in memif tests, mainly in
  50     avf-eth-l2xcbase-eth-2memif-1dcr. Two progression candidates found:
  51     Gerrit 24053 and Gerrit 26744. Performance results are not consistent enough
  52     to separate the two from other possible causes. [CSIT-1744]
  53
  54     [12] OPEN Progression in some l2bdscale tests. [CSIT-1745]
  55
  56     [13] DONE Stateless ACL tests have the same performance in 2005.0-4
  57     as in 2001.0-2. The difference shown here is inflated by an API
  58     change, see [1]. [CSIT-1739]
  59
  60     [14] DONE Stateful ACL tests have better performance in 2005.0-4 as
  61     in 2001.0-2. The CSIT part of API change, Gerrit 26112, has fixed
  62     an earlier CSIT regression in the same tests. The difference shown here
  63     is further inflated by the API mismatch, see [1]. [CSIT-1739]
  64
  65     [15] OPEN Progression in nat44 test (not scale ones). [CSIT-1747]
  66
  67     [17] OPEN Progression in some vhost tests (dpdk in VM). [CSIT-1749]
  68 "