RCA 2005: Update RCA files.
[csit.git] / resources / tools / presentation / rca / rca-2n-clx-2t1c-pdr-rca1.yaml
1 # CSIT progressions.
2 64b-2t1c-avf-dot1q-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
3 64b-2t1c-avf-dot1q-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
4 64b-2t1c-avf-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
5 64b-2t1c-avf-eth-l2xcbase-eth-2vhostvr1024-1vm-vppl2xc: 5
6 64b-2t1c-eth-l2bdbasemaclrn-eth-2vhostvr1024-1vm-vppl2xc: 5
7 # CSIT regressions.
8 64b-2t1c-avf-ethip4-ip4scale200k-rnd: 2
9 64b-2t1c-avf-ethip4-ip4scale2m: 7
10 64b-2t1c-avf-ethip4-ip4scale2m-rnd: 2
11 64b-2t1c-avf-ethip4udp-ip4base-iacl50sf-10kflows: 1
12 64b-2t1c-avf-ethip4udp-ip4base-iacl50sl-10kflows: 1
13 64b-2t1c-avf-ethip4udp-ip4base-oacl50sf-10kflows: 1
14 64b-2t1c-avf-ethip4udp-ip4base-oacl50sl-10kflows: 1
15 64b-2t1c-avf-dot1q-l2xcbase: 3
16 64b-2t1c-dot1q-l2bdbasemaclrn-eth-2memif-1dcr: 7
17 64b-2t1c-ethip4-ip4scale200k-rnd: 2
18 64b-2t1c-ethip4-ip4scale2m: 7
19 64b-2t1c-ethip4-ip4scale2m-rnd: 2
20
21 # Multiline string, empty lines (or \n) are required,
22 # see https://yaml-multiline.info/
23
24 footnote: "
25     [1] DONE Regression in ACL tests. The cause is the CSIT part of
26     an API change, Gerrit 26112. Instead of failing, the misconfigured VPP
27     passes the test, albeit with reduced performance. [CSIT-1739]
28
29     [2] DONE Regression in tests using random flows.
30     The cause is Gerrit 26456, unpinning random seed, needed to make TRex workers
31     generate different sequences of packets. [CSIT-1731]
32
33     [3] DONE Regression in base dot1q-l2xcbase suites. The cause is Gerrit 25363,
34     which unified dot1q handling across various tests.
35     Previously, this one suite was different (only handling dot1q on one port).
36
37     [5] OPEN Progression in performance of tests running VPP (l2xc) inside VM.
38     Due to relatively high stdev of results, bisecting has not found a cause yet.
39     [CSIT-1738]
40
41     [7] POSTPONED Possible anomaly, but stdev of results is high.
42     Currently, the performance differences are considered to probably be just noise.
43
44     [9] OPEN Progression in ip6 scale tests. Multiple candidate changes may have
45     affect code efficiency, but they have also caused the tests to fail
46     for a period of time. [CSIT-1735]
47
48     [10] OPEN Progression in ip6 base tests with dot1q. [CSIT-1746]
49
50     [11] OPEN Progression in memif tests, mainly in avf-eth-l2xcbase-eth-2memif-1dcr.
51     Not sure whether all memif tests are affected, nor what the cause is.
52     [CSIT-1744]
53
54     [12] OPEN Progression in some l2bdscale tests. [CSIT-1745]
55
56     [13] DONE Stateless ACL test have the same performance in 2005.0-4 as in
57     2001.0-2, the difference shown here is just a consequence of API change
58     having a performance impact when VPP version does not match CSIT version.
59     [CSIT-1739]
60
61     [14] DONE Statefull ACL test have better performance in 2005.0-4 as in
62     2001.0-2, but the difference shown here is inflated due to API change
63     having a performance impact when VPP version does not match CSIT version.
64     [CSIT-1739]
65
66     [15] OPEN Progression in nat44 test (not scale ones). [CSIT-1747]
67
68     [17] OPEN Progression in some vhost tests (dpdk in VM). [CSIT-1749]
69 "