3434182744335b87ae8cb166cecf22c0561a52ea
[csit.git] / docs / report / vpp_performance_tests / csit_release_notes.rst
1 CSIT Release Notes\r
2 ==================\r
3 \r
4 Changes in CSIT |release|\r
5 -------------------------\r
6 \r
7 #. Test environment changes in VPP data plane performance tests:\r
8 \r
9    - Further characterization and optimizations of VPP vhost-user and VM test\r
10      methodology and test environment;\r
11 \r
12      - Tests with varying Qemu virtio queue (a.k.a. vring) sizes:\r
13        [vr256] default 256 descriptors, [vr1024] 1024 descriptors to\r
14        optimize for packet throughput;\r
15 \r
16      - Tests with varying Linux :abbr:`CFS (Completely Fair Scheduler)`\r
17        settings: [cfs] default settings, [cfsrr1] :abbr:`CFS (Completely Fair\r
18        Scheduler)` RoundRobin(1) policy applied to all data plane threads\r
19        handling test packet path including all VPP worker threads and all Qemu\r
20        testpmd poll-mode threads;\r
21 \r
22      - Resulting test cases are all combinations with [vr256,vr1024] and\r
23        [cfs,cfsrr1] settings;\r
24 \r
25      - For more detail see performance results observations section in\r
26        this report;\r
27 \r
28 #. Code updates and optimizations in CSIT performance framework:\r
29 \r
30    - Complete CSIT framework code revision and optimizations as descried\r
31      on CSIT wiki page `Design_Optimizations\r
32      <https://wiki.fd.io/view/CSIT/Design_Optimizations>`_.\r
33 \r
34    - For more detail see the :ref:`CSIT Framework Design <csit-design>` section\r
35      in this report;\r
36 \r
37 #. Changes to CSIT driver for TRex Traffic Generator:\r
38 \r
39    - Complete refactor of TRex CSIT driver;\r
40 \r
41    - Introduction of packet traffic profiles to improve usability and\r
42      manageability of traffic profiles for a growing number of test\r
43      scenarios.\r
44 \r
45    - Support for packet traffic profiles to test IPv4/IPv6 stateful and\r
46      stateless DUT data plane features;\r
47 \r
48 #. Added VPP performance tests\r
49 \r
50    - **Linux Container VPP memif virtual interface tests**\r
51 \r
52      - New VPP Memif virtual interface (shared memory interface) tests\r
53        with L2 Bridge-Domain switched-forwarding;\r
54 \r
55    - **Stateful Security Groups**\r
56 \r
57      - New m-thread m-core VPP stateful security-groups tests;\r
58 \r
59    - **MAC-IP binding**\r
60 \r
61      - New MACIP iACL single-thread single-core and m-thread m-core tests;\r
62 \r
63      - Statistical analysis of repeatibility of results;\r
64 \r
65 Performance Improvements\r
66 ------------------------\r
67 \r
68 Substantial improvements in measured packet throughput have been observed in a\r
69 number of CSIT |release| tests listed below, with relative increase of\r
70 double-digit percentage points. Relative improvements for this release are\r
71 calculated against the test results listed in CSIT |release-1| report. The\r
72 comparison is calculated between the mean values based on collected and\r
73 archived test results' samples for involved VPP releases. Standard deviation\r
74 has been also listed for CSIT |release|. VPP-16.09 and VPP-17.01 numbers are\r
75 provided for reference.\r
76 \r
77 NDR Throughput\r
78 ~~~~~~~~~~~~~~\r
79 \r
80 Non-Drop Rate Throughput discovery tests:\r
81 \r
82 .. only:: html\r
83 \r
84    .. csv-table::\r
85       :align: center\r
86       :file: performance_improvements/performance_improvements_ndr_top.csv\r
87 \r
88 .. only:: latex\r
89 \r
90    .. raw:: latex\r
91 \r
92       \makeatletter\r
93       \csvset{\r
94         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
95       }\r
96       \makeatother\r
97 \r
98       {\tiny\r
99       \csvautobooklongtable[separator=comma,\r
100         respect all,\r
101         no check column count,\r
102         perfimprovements column width=1cm,\r
103         late after line={\\\hline},\r
104         late after last line={\end{longtable}}\r
105         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_ndr_top.csv}\r
106       }\r
107 \r
108 \r
109 PDR Throughput\r
110 ~~~~~~~~~~~~~~\r
111 \r
112 Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:\r
113 \r
114 .. only:: html\r
115 \r
116    .. csv-table::\r
117       :align: center\r
118       :file: performance_improvements/performance_improvements_pdr_top.csv\r
119 \r
120 .. only:: latex\r
121 \r
122    .. raw:: latex\r
123 \r
124       \makeatletter\r
125       \csvset{\r
126         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
127       }\r
128       \makeatother\r
129 \r
130       {\tiny\r
131       \csvautobooklongtable[separator=comma,\r
132         respect all,\r
133         no check column count,\r
134         perfimprovements column width=1cm,\r
135         late after line={\\\hline},\r
136         late after last line={\end{longtable}}\r
137         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_pdr_top.csv}\r
138       }\r
139 \r
140 \r
141 Measured improvements are in line with VPP code optimizations listed in\r
142 `VPP-17.10 release notes\r
143 <https://docs.fd.io/vpp/17.10/release_notes_1710.html>`_.\r
144 \r
145 Other Performance Changes\r
146 -------------------------\r
147 \r
148 Other changes in measured packet throughput, with either minor relative increase\r
149 or decrease, have been observed in a number of CSIT |release| tests listed\r
150 below. Relative changes are calculated against the test results listed in CSIT\r
151 |release-1| report.\r
152 \r
153 NDR Throughput\r
154 ~~~~~~~~~~~~~~\r
155 \r
156 Non-Drop Rate Throughput discovery tests:\r
157 \r
158 .. only:: html\r
159 \r
160    .. csv-table::\r
161       :align: center\r
162       :file: performance_improvements/performance_improvements_ndr_low.csv\r
163 \r
164 .. only:: latex\r
165 \r
166    .. raw:: latex\r
167 \r
168       \makeatletter\r
169       \csvset{\r
170         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
171       }\r
172       \makeatother\r
173 \r
174       {\tiny\r
175       \csvautobooklongtable[separator=comma,\r
176         respect all,\r
177         no check column count,\r
178         perfimprovements column width=1cm,\r
179         late after line={\\\hline},\r
180         late after last line={\end{longtable}}\r
181         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_ndr_low.csv}\r
182       }\r
183 \r
184 \r
185 PDR Throughput\r
186 ~~~~~~~~~~~~~~\r
187 \r
188 Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:\r
189 \r
190 .. only:: html\r
191 \r
192    .. csv-table::\r
193       :align: center\r
194       :file: performance_improvements/performance_improvements_pdr_low.csv\r
195 \r
196 .. only:: latex\r
197 \r
198    .. raw:: latex\r
199 \r
200       \makeatletter\r
201       \csvset{\r
202         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
203       }\r
204       \makeatother\r
205 \r
206       {\tiny\r
207       \csvautobooklongtable[separator=comma,\r
208         respect all,\r
209         no check column count,\r
210         perfimprovements column width=1cm,\r
211         late after line={\\\hline},\r
212         late after last line={\end{longtable}}\r
213         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_pdr_low.csv}\r
214       }\r
215 \r
216 \r
217 Known Issues\r
218 ------------\r
219 \r
220 Here is the list of known issues in CSIT |release| for VPP performance tests:\r
221 \r
222 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
223 | # | Issue                                           | Jira ID    | Description                                                     |\r
224 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
225 | 1 | Vic1385 and Vic1227 low performance.            | VPP-664    | Low NDR performance.                                            |\r
226 |   |                                                 |            |                                                                 |\r
227 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
228 | 2 | Sporadic NDR discovery test failures on x520.   | CSIT-750   | Suspected issue with HW settings (BIOS, FW) in LF               |\r
229 |   |                                                 |            | infrastructure. Issue can't be replicated outside LF.           |\r
230 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
231 | 3 | VPP in 2t2c setups - large variation            | CSIT-568   | Suspected NIC firmware or DPDK driver issue affecting NDR       |\r
232 |   | of discovered NDR throughput values across      |            | throughput. Applies to XL710 and X710 NICs, x520 NICs are fine. |\r
233 |   | multiple test runs with xl710 and x710 NICs.    |            |                                                                 |\r
234 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
235 | 4 | Lower than expected NDR and PDR throughput with | CSIT-569   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |\r
236 |   | xl710 and x710 NICs, compared to x520 NICs.     |            | PDR throughput. Applies to XL710 and X710 NICs.                 |\r
237 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
238 \r

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.