resources/tools/presentation/rca/rca-2n-skx-2t1c-pdr-rca1.yaml

   1 # CSIT progressions.
   2 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   3 64b-2t1c-avf-dot1q-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
   4 64b-2t1c-avf-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   5 64b-2t1c-avf-eth-l2xcbase: 4
   6 64b-2t1c-avf-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
   7 64b-2t1c-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   8 64b-2t1c-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   9 64b-2t1c-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
  10 # CSIT regressions.
  11 64b-2t1c-avf-dot1q-l2xcbase: 3
  12 64b-2t1c-avf-ethip4-ip4scale200k-rnd: 2
  13 64b-2t1c-avf-ethip4-ip4scale2m-rnd: 2
  14 64b-2t1c-avf-ethip4udp-ip4base-iacl50sf-10kflows: 1
  15 64b-2t1c-avf-ethip4udp-ip4base-iacl50sl-10kflows: 1
  16 64b-2t1c-avf-ethip4udp-ip4base-oacl50sf-10kflows: 1
  17 64b-2t1c-avf-ethip4udp-ip4base-oacl50sl-10kflows: 1
  18 64b-2t1c-ethip4-ip4scale200k-rnd: 2
  19 64b-2t1c-ethip4-ip4scale2m: 7
  20 64b-2t1c-ethip4-ip4scale2m-rnd: 2
  21
  22 # Multiline string, empty lines (or \n) are required,
  23 # see https://yaml-multiline.info/
  24
  25 footnote: "
  26     [1] DONE Regression in ACL tests. The cause is the CSIT part of
  27     an API change, Gerrit 26112. Instead of failing, the misconfigured VPP
  28     passes the test, albeit with reduced performance. [CSIT-1739]
  29
  30     [2] DONE Regression in tests using random flows.
  31     The cause is Gerrit 26456, unpinning random seed, needed to make TRex workers
  32     generate different sequences of packets. [CSIT-1731]
  33
  34     [3] DONE Regression in base dot1q-l2xcbase suites. The cause is Gerrit 25363,
  35     which unified dot1q handling across various tests.
  36     Previously, this one suite was different (only handling dot1q on one port).
  37
  38     [4] OPEN Progression in one test. Bisect not started yet. [CSIT-1740]
  39
  40     [5] OPEN Progression in performance of tests running VPP (l2xc) inside VM.
  41     Due to relatively high stdev of results, bisecting has not found a cause yet.
  42     [CSIT-1738]
  43
  44     [7] POSTPONED Possible anomaly, but stdev of results is high.
  45     Currently, the performance differences are considered to probably be just noise.
  46
  47     [8] OPEN Regressions in some tests with VPP in VM and using l2xcbase as vswitch.
  48     The results have surprisingly small stdev, more investigation needed.
  49     [CSIT-1741]
  50
  51     [9] OPEN Progression in ip6 scale tests. Multiple candidate changes may have
  52     affect code efficiency, but they have also caused the tests to fail
  53     for a period of time. [CSIT-1735]
  54
  55     [11] OPEN Progression in memif tests, mainly in avf-eth-l2xcbase-eth-2memif-1dcr.
  56     Not sure whether all memif tests are affected, nor what the cause is.
  57     [CSIT-1744]
  58
  59     [12] OPEN Progression in some l2bdscale tests. [CSIT-1745]
  60
  61     [13] DONE Stateless ACL test have the same performance in 2005.0-4 as in
  62     2001.0-2. The difference shown here is inflated by an API change, see [1].
  63     [CSIT-1739]
  64
  65     [14] DONE Stateful ACL test have better performance in 2005.0-4 as in
  66     2001.0-2. The VPP part of API change, Gerrit 26184, made VPP faster.
  67     The difference shown here is further inflated by the API change, see [1].
  68     [CSIT-1739]
  69
  70     [15] OPEN Progression in nat44 test (not scale ones). [CSIT-1747]
  71
  72     [17] OPEN Progression in some vhost tests (dpdk in VM). [CSIT-1749]
  73 "