docs/report/vpp_performance_tests/csit_release_notes.rst

   1 CSIT Release Notes\r
   2 ==================\r
   3 \r
   4 Changes in CSIT |release|\r
   5 -------------------------\r
   6 \r
   7 #. Test environment changes in VPP data plane performance tests:\r
   8 \r
   9    - Further characterization and optimizations of VPP vhost-user and VM test\r
  10      methodology and test environment;\r
  11 \r
  12      - Tests with varying Qemu virtio queue (a.k.a. vring) sizes:\r
  13        [vr256] default 256 descriptors, [vr1024] 1024 descriptors to\r
  14        optimize for packet throughput;\r
  15 \r
  16      - Tests with varying Linux :abbr:`CFS (Completely Fair Scheduler)`\r
  17        settings: [cfs] default settings, [cfsrr1] :abbr:`CFS (Completely Fair\r
  18        Scheduler)` RoundRobin(1) policy applied to all data plane threads\r
  19        handling test packet path including all VPP worker threads and all Qemu\r
  20        testpmd poll-mode threads;\r
  21 \r
  22      - Resulting test cases are all combinations with [vr256,vr1024] and\r
  23        [cfs,cfsrr1] settings;\r
  24 \r
  25      - For more detail see performance results observations section in\r
  26        this report;\r
  27 \r
  28 #. Code updates and optimizations in CSIT performance framework:\r
  29 \r
  30    - Complete CSIT framework code revision and optimizations as descried\r
  31      on CSIT wiki page `Design_Optimizations\r
  32      <https://wiki.fd.io/view/CSIT/Design_Optimizations>`_.\r
  33 \r
  34    - For more detail see the :ref:`CSIT Framework Design <csit-design>` section\r
  35      in this report;\r
  36 \r
  37 #. Changes to CSIT driver for TRex Traffic Generator:\r
  38 \r
  39    - Complete refactor of TRex CSIT driver;\r
  40 \r
  41    - Introduction of packet traffic profiles to improve usability and\r
  42      manageability of traffic profiles for a growing number of test\r
  43      scenarios.\r
  44 \r
  45    - Support for packet traffic profiles to test IPv4/IPv6 stateful and\r
  46      stateless DUT data plane features;\r
  47 \r
  48 #. Added VPP performance tests\r
  49 \r
  50    - **Linux Container VPP memif virtual interface tests**\r
  51 \r
  52      - New VPP Memif virtual interface (shared memory interface) tests\r
  53        with L2 Bridge-Domain switched-forwarding;\r
  54 \r
  55    - **Stateful Security Groups**\r
  56 \r
  57      - New m-thread m-core VPP stateful security-groups tests;\r
  58 \r
  59    - **MAC-IP binding**\r
  60 \r
  61      - New MACIP iACL single-thread single-core and m-thread m-core tests;\r
  62 \r
  63      - Statistical analysis of repeatibility of results;\r
  64 \r
  65 Performance Improvements\r
  66 ------------------------\r
  67 \r
  68 Substantial improvements in measured packet throughput have been observed in a\r
  69 number of CSIT |release| tests listed below, with relative increase of\r
  70 double-digit percentage points. Relative improvements for this release are\r
  71 calculated against the test results listed in CSIT |release-1| report. The\r
  72 comparison is calculated between the mean values based on collected and\r
  73 archived test results' samples for involved VPP releases. Standard deviation\r
  74 has been also listed for CSIT |release|. VPP-16.09 and VPP-17.01 numbers are\r
  75 provided for reference.\r
  76 \r
  77 NDR Throughput\r
  78 ~~~~~~~~~~~~~~\r
  79 \r
  80 Non-Drop Rate Throughput discovery tests:\r
  81 \r
  82 .. only:: html\r
  83 \r
  84    .. csv-table::\r
  85       :align: center\r
  86       :file: performance_improvements/performance_improvements_ndr_top.csv\r
  87 \r
  88 .. only:: latex\r
  89 \r
  90    .. raw:: latex\r
  91 \r
  92       \makeatletter\r
  93       \csvset{\r
  94         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
  95       }\r
  96       \makeatother\r
  97 \r
  98       {\tiny\r
  99       \csvautobooklongtable[separator=comma,\r
 100         respect all,\r
 101         no check column count,\r
 102         perfimprovements column width=1cm,\r
 103         late after line={\\\hline},\r
 104         late after last line={\end{longtable}}\r
 105         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_ndr_top.csv}\r
 106       }\r
 107 \r
 108 \r
 109 PDR Throughput\r
 110 ~~~~~~~~~~~~~~\r
 111 \r
 112 Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:\r
 113 \r
 114 .. only:: html\r
 115 \r
 116    .. csv-table::\r
 117       :align: center\r
 118       :file: performance_improvements/performance_improvements_pdr_top.csv\r
 119 \r
 120 .. only:: latex\r
 121 \r
 122    .. raw:: latex\r
 123 \r
 124       \makeatletter\r
 125       \csvset{\r
 126         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
 127       }\r
 128       \makeatother\r
 129 \r
 130       {\tiny\r
 131       \csvautobooklongtable[separator=comma,\r
 132         respect all,\r
 133         no check column count,\r
 134         perfimprovements column width=1cm,\r
 135         late after line={\\\hline},\r
 136         late after last line={\end{longtable}}\r
 137         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_pdr_top.csv}\r
 138       }\r
 139 \r
 140 \r
 141 Measured improvements are in line with VPP code optimizations listed in\r
 142 `VPP-17.10 release notes\r
 143 <https://docs.fd.io/vpp/17.10/release_notes_1710.html>`_.\r
 144 \r
 145 Other Performance Changes\r
 146 -------------------------\r
 147 \r
 148 Other changes in measured packet throughput, with either minor relative increase\r
 149 or decrease, have been observed in a number of CSIT |release| tests listed\r
 150 below. Relative changes are calculated against the test results listed in CSIT\r
 151 |release-1| report.\r
 152 \r
 153 NDR Throughput\r
 154 ~~~~~~~~~~~~~~\r
 155 \r
 156 Non-Drop Rate Throughput discovery tests:\r
 157 \r
 158 .. only:: html\r
 159 \r
 160    .. csv-table::\r
 161       :align: center\r
 162       :file: performance_improvements/performance_improvements_ndr_low.csv\r
 163 \r
 164 .. only:: latex\r
 165 \r
 166    .. raw:: latex\r
 167 \r
 168       \makeatletter\r
 169       \csvset{\r
 170         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
 171       }\r
 172       \makeatother\r
 173 \r
 174       {\tiny\r
 175       \csvautobooklongtable[separator=comma,\r
 176         respect all,\r
 177         no check column count,\r
 178         perfimprovements column width=1cm,\r
 179         late after line={\\\hline},\r
 180         late after last line={\end{longtable}}\r
 181         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_ndr_low.csv}\r
 182       }\r
 183 \r
 184 \r
 185 PDR Throughput\r
 186 ~~~~~~~~~~~~~~\r
 187 \r
 188 Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:\r
 189 \r
 190 .. only:: html\r
 191 \r
 192    .. csv-table::\r
 193       :align: center\r
 194       :file: performance_improvements/performance_improvements_pdr_low.csv\r
 195 \r
 196 .. only:: latex\r
 197 \r
 198    .. raw:: latex\r
 199 \r
 200       \makeatletter\r
 201       \csvset{\r
 202         perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
 203       }\r
 204       \makeatother\r
 205 \r
 206       {\tiny\r
 207       \csvautobooklongtable[separator=comma,\r
 208         respect all,\r
 209         no check column count,\r
 210         perfimprovements column width=1cm,\r
 211         late after line={\\\hline},\r
 212         late after last line={\end{longtable}}\r
 213         ]{../_tmp/src/vpp_performance_tests/performance_improvements/performance_improvements_pdr_low.csv}\r
 214       }\r
 215 \r
 216 \r
 217 Known Issues\r
 218 ------------\r
 219 \r
 220 Here is the list of known issues in CSIT |release| for VPP performance tests:\r
 221 \r
 222 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 223 | # | Issue                                           | Jira ID    | Description                                                     |\r
 224 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 225 | 1 | Vic1385 and Vic1227 low performance.            | VPP-664    | Low NDR performance.                                            |\r
 226 |   |                                                 |            |                                                                 |\r
 227 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 228 | 2 | Sporadic NDR discovery test failures on x520.   | CSIT-750   | Suspected issue with HW settings (BIOS, FW) in LF               |\r
 229 |   |                                                 |            | infrastructure. Issue can't be replicated outside LF.           |\r
 230 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 231 | 3 | VPP in 2t2c setups - large variation            | CSIT-568   | Suspected NIC firmware or DPDK driver issue affecting NDR       |\r
 232 |   | of discovered NDR throughput values across      |            | throughput. Applies to XL710 and X710 NICs, x520 NICs are fine. |\r
 233 |   | multiple test runs with xl710 and x710 NICs.    |            |                                                                 |\r
 234 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 235 | 4 | Lower than expected NDR and PDR throughput with | CSIT-569   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |\r
 236 |   | xl710 and x710 NICs, compared to x520 NICs.     |            | PDR throughput. Applies to XL710 and X710 NICs.                 |\r
 237 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 238 \r