resources/tools/presentation/rca/rca-2n-skx-2t1c-ndr-rca1.yaml

   1 # CSIT progressions.
   2 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm: 7
   3 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   4 64b-2t1c-avf-dot1q-l2xcbase-eth-2vhostvr1024-1vm: 7
   5 64b-2t1c-avf-dot1q-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
   6 64b-2t1c-avf-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   7 64b-2t1c-avf-eth-l2patch: 7
   8 64b-2t1c-avf-eth-l2xcbase: 7
   9 64b-2t1c-avf-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
  10 64b-2t1c-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
  11 64b-2t1c-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
  12 64b-2t1c-eth-l2xcbase: 7
  13 64b-2t1c-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
  14 # CSIT regressions.
  15 64b-2t1c-avf-dot1q-ip4base: 7
  16 64b-2t1c-avf-dot1q-l2xcbase: 7
  17 64b-2t1c-avf-eth-l2bdscale1mmaclrn: 7
  18 64b-2t1c-avf-ethip4-ip4scale200k: 7
  19 64b-2t1c-avf-ethip4-ip4scale200k-rnd: 2
  20 64b-2t1c-avf-ethip4-ip4scale20k-rnd: 2
  21 64b-2t1c-avf-ethip4-ip4scale2m: 7
  22 64b-2t1c-avf-ethip4-ip4scale2m-rnd: 2
  23 64b-2t1c-avf-ethip4udp-ip4base-iacl50sf-10kflows: 1
  24 64b-2t1c-avf-ethip4udp-ip4base-iacl50sl-10kflows: 1
  25 64b-2t1c-avf-ethip4udp-ip4base-nat44: 7
  26 64b-2t1c-avf-ethip4udp-ip4base-oacl50sf-10kflows: 1
  27 64b-2t1c-avf-ethip4udp-ip4base-oacl50sl-10kflows: 1
  28 64b-2t1c-ethip4-ip4scale200k-rnd: 2
  29 64b-2t1c-ethip4-ip4scale2m: 7
  30 64b-2t1c-ethip4-ip4scale2m-rnd: 2
  31 78b-2t1c-avf-ethip6-ip6scale20k: 7
  32 78b-2t1c-avf-ethip6-ip6base: 7
  33
  34 # Multiline string, empty lines (or \n) are required,
  35 # see https://yaml-multiline.info/
  36
  37 footnote: "
  38     [1] DONE Apparent regression in ACL tests due to Gerrit 26112. With CSIT
  39     using changed VPP API, instead of failing, misconfigured VPP passes
  40     the test, albeit with reduced performance. [CSIT-1739]
  41
  42     [2] DONE Regression in tests using random flow sequencing due to
  43     Gerrit 26456. Unpinned random seed to make TRex workers generate
  44     different sequences of packets. [CSIT-1731]
  45
  46     [5] DONE Progression in tests with VPP (l2xc) inside a VM due to
  47     Gerrit 25309. Make VPP in VM worker placement deterministic.
  48     [CSIT-1738]
  49
  50     [7] POSTPONED Possible anomaly, but stdev of results is high.
  51     Performance differences considered to probably be just noise.
  52
  53     [8] DONE Regressions in some tests with VPP in VM due to Gerrit
  54     26744. Switch to clang-9 compiler identified as cause. Tests using
  55     l2xcbase as vswitch with small stdev used for bisect. [CSIT-1741]
  56
  57     [9] OPEN Progression in all ip6 scale tests. Changes to vppinfra
  58     bihash may have improved code efficiency. [CSIT-1735]
  59
  60     [11] OPEN Progression in memif tests, mainly in
  61     avf-eth-l2xcbase-eth-2memif-1dcr. Two progression candidates found:
  62     Gerrit 24053 and Gerrit 26744. Performance results are not consistent enough
  63     to separate the two from other possible causes. [CSIT-1744]
  64
  65     [12] OPEN Progression in some l2bdscale tests. [CSIT-1745]
  66
  67     [13] DONE Stateless ACL tests have the same performance in 2005.0-4
  68     as in 2001.0-2. The difference shown here is inflated by an API
  69     change, see [1]. [CSIT-1739]
  70
  71     [14] DONE Stateful ACL tests have better performance in 2005.0-4 as
  72     in 2001.0-2. The CSIT part of API change, Gerrit 26112, has fixed
  73     an earlier CSIT regression in the same tests. The difference shown here
  74     is further inflated by the API mismatch, see [1]. [CSIT-1739]
  75
  76     [15] OPEN Progression in nat44 test (not scale ones). [CSIT-1747]
  77
  78     [17] OPEN Progression in some vhost tests (dpdk in VM). [CSIT-1749]
  79 "