Update report static content
[csit.git] / docs / report / vpp_performance_tests / csit_release_notes.rst
1 Release Notes
2 =============
3
4 Changes in |csit-release|
5 -------------------------
6
7 #. VPP PERFORMANCE TESTS
8
9    - **Service density 2n-skx tests**: Added higher density tests with dtc=0.5
10      (2 NF each with 1 DT per physical core) with VPP as a VNF payload.
11
12    - **Experimental Soak Tests**: Added performamce soak tests framework
13      code for extended time duration tests and throughput discovery
14      at given PLR and at give total test time e.g. minutes, hours,
15      days, weeks, months, years. See updated
16      :ref:`test_methodology` section for more details.
17
18 #. TEST FRAMEWORK
19
20    - **Qemu code refactor**: Complete code refactor of the key components
21      QemuUtil.py and QemuManager.py (L1 and L2 KW counterparts). Added
22      implementation of kernel-image-kvm based VM alongisde the previously used
23      NestedVM images. Added ability to run VPP as a payload in VNF.
24
25    - **CSIT PAPI Support**: Continue converting existing VAT L1 keywords to
26      PAPI L1 KWs in CSIT using VPP Python bindings. Required for migrating away
27      from VAT. Redesign of key components of PAPI Executor and PAPI history.
28
29    - **General Code Housekeeping**: Ongoing RF keywords optimizations,
30      removal of redundant RF keywords.
31
32    - **Test suite generator**: Extend the test suite generator for ability to
33      generate NIC permutation and search algorithm permutations from base
34      suites.
35
36    - **TOX verification**: Added verifications for test suite generator.
37
38 #. PRESENTATION AND ANALYTICS LAYER
39
40    - **Graphs Layout Improvements**: Improved performance graphs layout
41      for better readibility and maintenance: test grouping, axis
42      labels, descriptions, other informative decoration.
43
44 #. MISCELLANEOUS
45
46    - **2n-dnv Tests (3rd Party)**: Published performance tests for 2n-
47      dnv (2-Node Atom Denverton) from 3rd party testbeds running FD.io
48      |csit-release| automated testing code.
49      Only graphs for Packet Throughput and Speedup Multi-core and not
50      for Packet Latency were published as there are no results for Packet
51      Latency available.
52
53 .. raw:: latex
54
55     \clearpage
56
57 .. _vpp_known_issues:
58
59 Known Issues
60 ------------
61
62 List of known issues in |csit-release| for VPP performance tests:
63
64 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
65 | #  | JiraID                                  | Issue Description                                                                                                               |
66 +====+=========================================+=================================================================================================================================+
67 | 1  | `CSIT-570                               | Sporadic (1 in 200) NDR discovery test failures on x520. DPDK reporting rx-errors, indicating L1 issue.                         |
68 |    | <https://jira.fd.io/browse/CSIT-570>`_  | Suspected issue with HW combination of X710-X520 in LF testbeds. Not observed outside of LF testbeds.                           |
69 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
70 | 2  | `CSIT-????                              | IPSecHW interface AES-GBC tests failing due to traffic not passing.                                                             |
71 |    | <https://jira.fd.io/browse/CSIT-????>`_ |                                                                                                                                 |
72 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+