resources/tools/presentation/rca/rca-3n-skx-2t1c-pdr-rca1.yaml

   1 # CSIT progressions.
   2 64b-2t1c-avf-1lbvpplacp-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 7
   3 64b-2t1c-avf-1lbvpplacp-dot1q-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 7
   4 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   5 64b-2t1c-avf-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   6 64b-2t1c-avf-eth-l2xcbase: 4
   7 64b-2t1c-avf-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
   8 64b-2t1c-avf-ethip4-ip4base-eth-2vhostvr1024-1vm-vppip4: 5
   9 64b-2t1c-ethip4-ip4base-eth-2vhostvr1024-1vm: 7
  10 # CSIT regressions.
  11 64b-2t1c-avf-eth-l2bdscale1mmaclrn: 7
  12 64b-2t1c-avf-ethip4-ip4scale2m: 7
  13 64b-2t1c-ethip4-ip4scale2m: 7
  14 imix-2t1c-avf-ethip4ipsec4tnlsw-ip4base-int-aes256gcm: 6
  15 imix-2t1c-avf-ethip4ipsec1000tnlsw-ip4base-int-aes256gcm: 6
  16 imix-2t1c-avf-ethip4ipsec10000tnlsw-ip4base-int-aes256gcm: 6
  17 imix-2t1c-ethip4ipsec10000tnlsw-ip4base-int-aes256gcm: 6
  18 imix-2t1c-ethip4ipsec4tnlsw-ip4base-int-aes256gcm: 6
  19
  20 # Multiline string, empty lines (or \n) are required,
  21 # see https://yaml-multiline.info/
  22
  23 footnote: "
  24     [4] DONE Progression in high performance tests due to Gerrit 26445.
  25     TRex setting improvement. [CSIT-1740]
  26
  27     [5] DONE Progression in tests with VPP (l2xc) inside a VM due to
  28     Gerrit 25309. Make VPP in VM worker placement deterministic.
  29     [CSIT-1738]
  30
  31     [6] DONE Apparent regression in CSIT is caused by VPP renaming
  32     the most performant IPsec plugin, thus the current CSIT version used with
  33     the previous VPP version measures the less performant VPP IPsec plugin.
  34     [CSIT-1742]
  35
  36     [7] POSTPONED Possible anomaly, but stdev of results is high.
  37     Performance differences considered to probably be just noise.
  38
  39     [8] DONE Regressions in some tests with VPP in VM due to Gerrit
  40     26744. Switch to clang-9 compiler identified as cause. Tests using
  41     l2xcbase as vswitch with small stdev used for bisect. [CSIT-1741]
  42
  43     [9] OPEN Progression in all ip6 scale tests. Changes to vppinfra
  44     bihash may have improved code efficiency. [CSIT-1735]
  45
  46     [10] OPEN Progression in ip6 base tests with dot1q. [CSIT-1746]
  47
  48     [11] OPEN Progression in memif tests, mainly in
  49     avf-eth-l2xcbase-eth-2memif-1dcr. Two progression candidates found:
  50     Gerrit 24053 and Gerrit 26744. Performance results are not consistent enough
  51     to separate the two from other possible causes. [CSIT-1744]
  52
  53     [12] OPEN Progression in some l2bdscale tests. [CSIT-1745]
  54
  55     [16] OPEN Apparent progression in IPsec tests, only for aes128cbc-hmac512sha.
  56     Considering [6], the positive difference is not large enough,
  57     so there was probably a VPP regression. [CSIT-1748]
  58
  59     [17] OPEN Progression in some vhost tests (dpdk in VM). [CSIT-1749]
  60 "