resources/tools/presentation/rca/rca-2n-skx-2t1c-ndr-rca1.yaml

   1 # CSIT progressions.
   2 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm: 7
   3 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   4 64b-2t1c-avf-dot1q-l2xcbase-eth-2vhostvr1024-1vm: 7
   5 64b-2t1c-avf-dot1q-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
   6 64b-2t1c-avf-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
   7 64b-2t1c-avf-eth-l2patch: 7
   8 64b-2t1c-avf-eth-l2xcbase: 7
   9 64b-2t1c-avf-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
  10 64b-2t1c-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
  11 64b-2t1c-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
  12 64b-2t1c-eth-l2xcbase: 7
  13 64b-2t1c-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
  14 # CSIT regressions.
  15 64b-2t1c-avf-dot1q-ip4base: 7
  16 64b-2t1c-avf-dot1q-l2xcbase: 7
  17 64b-2t1c-avf-eth-l2bdscale1mmaclrn: 7
  18 64b-2t1c-avf-ethip4-ip4scale200k: 7
  19 64b-2t1c-avf-ethip4-ip4scale200k-rnd: 2
  20 64b-2t1c-avf-ethip4-ip4scale20k-rnd: 2
  21 64b-2t1c-avf-ethip4-ip4scale2m: 7
  22 64b-2t1c-avf-ethip4-ip4scale2m-rnd: 2
  23 64b-2t1c-avf-ethip4udp-ip4base-iacl50sf-10kflows: 1
  24 64b-2t1c-avf-ethip4udp-ip4base-iacl50sl-10kflows: 1
  25 64b-2t1c-avf-ethip4udp-ip4base-nat44: 7
  26 64b-2t1c-avf-ethip4udp-ip4base-oacl50sf-10kflows: 1
  27 64b-2t1c-avf-ethip4udp-ip4base-oacl50sl-10kflows: 1
  28 64b-2t1c-ethip4-ip4scale200k-rnd: 2
  29 64b-2t1c-ethip4-ip4scale2m: 7
  30 64b-2t1c-ethip4-ip4scale2m-rnd: 2
  31 78b-2t1c-avf-ethip6-ip6scale20k: 7
  32 78b-2t1c-avf-ethip6-ip6base: 7
  33
  34 # Multiline string, empty lines (or \n) are required,
  35 # see https://yaml-multiline.info/
  36
  37 footnote: "
  38     [1] DONE Regression in ACL tests. The cause is the CSIT part of
  39     an API change, Gerrit 26112. Instead of failing, the misconfigured VPP
  40     passes the test, albeit with reduced performance. [CSIT-1739]
  41
  42     [2] DONE Regression in tests using random flows.
  43     The cause is Gerrit 26456, unpinning random seed, needed to make TRex workers
  44     generate different sequences of packets. [CSIT-1731]
  45
  46     [5] DONE Progression in performance of tests running VPP (l2xc) inside VM.
  47     Consequence of a fix making worker placement deterministic, Gerrit 25309.
  48     [CSIT-1738]
  49
  50     [7] POSTPONED Possible anomaly, but stdev of results is high.
  51     Currently, the performance differences are considered to probably be just noise.
  52
  53     [8] DONE Regressions in some tests with VPP in VM.
  54     Tests using l2xcbase as vswitch have small enough stdev for bisect.
  55     The switch to clang-9 compiler, Gerrit 26744, has been identified as the cause.
  56     [CSIT-1741]
  57
  58     [9] OPEN Progression in ip6 scale tests. Multiple candidate changes may have
  59     affect code efficiency, but they have also caused the tests to fail
  60     for a period of time. [CSIT-1735]
  61
  62     [11] OPEN Progression in memif tests, mainly in avf-eth-l2xcbase-eth-2memif-1dcr.
  63     Not sure whether all memif tests are affected, nor what the cause is.
  64     [CSIT-1744]
  65
  66     [12] OPEN Progression in some l2bdscale tests. [CSIT-1745]
  67
  68     [13] DONE Stateless ACL test have the same performance in 2005.0-4 as in
  69     2001.0-2. The difference shown here is inflated by an API change, see [1].
  70     [CSIT-1739]
  71
  72     [14] DONE Stateful ACL test have better performance in 2005.0-4 as in
  73     2001.0-2. The VPP part of API change, Gerrit 26184, made VPP faster.
  74     The difference shown here is further inflated by the API change, see [1].
  75     [CSIT-1739]
  76
  77     [15] OPEN Progression in nat44 test (not scale ones). [CSIT-1747]
  78
  79     [17] OPEN Progression in some vhost tests (dpdk in VM). [CSIT-1749]
  80 "