Report: perf rls_notes formatting fixes. 38/12438/3
authorMaciek Konstantynowicz <mkonstan@cisco.com>
Fri, 4 May 2018 20:47:23 +0000 (21:47 +0100)
committerMaciek Konstantynowicz <mkonstan@cisco.com>
Sat, 5 May 2018 12:30:52 +0000 (12:30 +0000)
Change-Id: I9f9ba3c59ab007d687f4e268ce91b046b731c850
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>
docs/report/vpp_performance_tests/csit_release_notes.rst

index 0914d9f..e6ce573 100644 (file)
@@ -4,38 +4,36 @@ CSIT Release Notes
 Changes in CSIT |release|\r
 -------------------------\r
 \r
-#. **Added VPP performance tests**\r
+#. **VPP performance tests**\r
 \r
-   - *MRR tests :* New MRR tests measure the packet forwarding rate\r
-       under the maximum load offered by traffic generator over a set\r
-       trial duration, regardless of packet loss. Maximum load for\r
-       specified Ethernet frame size is set to the bi-directional link\r
-       rate. MRR tests are used for continuous performance trending and\r
-       for comparison between releases.\r
+  - *MRR tests* - New Maximum Receive Rate tests measure the packet\r
+    forwarding rate under the maximum load offered by traffic\r
+    generator over a set trial duration, regardless of packet loss.\r
+    MRR tests are used for continuous performance trending and for\r
+    comparison between releases.\r
 \r
-   - *Service Chaining with SRv6 :* SRv6 (Segment Routing IPv6) proxy tests\r
-       verifying performance of Endpoint to SR-unaware appliance via\r
-       masquerading (End.AM), dynamic proxy (End.AD) or static proxy (End.AS)\r
-       functions.\r
+  - *Service Chaining with SRv6* - New SRv6 (Segment Routing IPv6) proxy\r
+    tests measure performance of SRv6 Endpoint fronting SR-unaware\r
+    appliance via masquerading (End.AM), dynamic proxy (End.AD) or\r
+    static proxy (End.AS) SR functions.\r
 \r
-#. **Presentation and Analytics Layer (PAL)**\r
+#. **Presentation and Analytics Layer**\r
 \r
-     - Added continuous performance measuring, trending and anomaly\r
-       detection. Includes new PAL code and Jenkins jobs for Performance\r
-       Trending (PT) and Performance Analysis (PA) producing performance\r
-       trending dashboard and trendline graphs with summary and drill-\r
-       down views across all specified tests that can be reviewed and\r
-       inspected regularly by FD.io developers and users community.\r
+  - *Performance trending* - Added continuous performance trending and\r
+    analysis. New Performance Trending and Performance Analysis jobs\r
+    executed regular throughput tests, with results being subsequently\r
+    analysed and trend and anomalies summarized and presented in VPP\r
+    Performance Dashboard and trendline graphs.\r
 \r
 #. **Test Framework Optimizations**\r
 \r
-     - *Performance tests efficiency :* Qemu build/install\r
-     optimizations, warmup phase handling, vpp restart handling.\r
-     Resulted in improved stability and reduced total execution time by\r
-     30% for single pkt size e.g. 64B/78B.\r
+  - *Performance tests efficiency* - Qemu build/install optimizations,\r
+    warmup phase handling, vpp restart handling. Resulted in improved\r
+    stability and reduced total execution time by 30% for single pkt\r
+    size e.g. 64B/78B.\r
 \r
-     - *General code housekeeping :* ongoing RF keywords\r
-     optimizations, removal of redundant RF keywords.\r
+  - *General code housekeeping* - ongoing RF keywords optimizations,\r
+    removal of redundant RF keywords.\r
 \r
 Performance Changes\r
 -------------------\r
@@ -51,33 +49,33 @@ repeatability and makes the relative change of mean throughput value not
 fully representative for these tests. The root causes behind poor\r
 results repeatibility vary between the test cases.\r
 \r
-NDR Throughput Changes\r
-~~~~~~~~~~~~~~~~~~~~~~\r
+NDR Changes\r
+~~~~~~~~~~~\r
 \r
-NDR small packet throughput changes between releases are available in a CSV and\r
-pretty ASCII formats:\r
+NDR small packet throughput changes between releases are available in a\r
+CSV and pretty ASCII formats:\r
 \r
   - `csv format for 1t1c <../_static/vpp/performance-changes-ndr-1t1c-full.csv>`_,\r
   - `csv format for 2t2c <../_static/vpp/performance-changes-ndr-2t2c-full.csv>`_,\r
   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-ndr-1t1c-full.txt>`_,\r
   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-ndr-2t2c-full.txt>`_.\r
 \r
-PDR Throughput Changes\r
-~~~~~~~~~~~~~~~~~~~~~~\r
+PDR Changes\r
+~~~~~~~~~~~\r
 \r
-NDR small packet throughput changes between releases are available in a CSV and\r
-pretty ASCII formats:\r
+NDR small packet throughput changes between releases are available in a\r
+CSV and pretty ASCII formats:\r
 \r
   - `csv format for 1t1c <../_static/vpp/performance-changes-pdr-1t1c-full.csv>`_,\r
   - `csv format for 2t2c <../_static/vpp/performance-changes-pdr-2t2c-full.csv>`_,\r
   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-pdr-1t1c-full.txt>`_,\r
   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-pdr-2t2c-full.txt>`_.\r
 \r
-MRR Throughput Changes\r
-~~~~~~~~~~~~~~~~~~~~~~\r
+MRR Changes\r
+~~~~~~~~~~~\r
 \r
-MRR changes between releases are available in a CSV and\r
-pretty ASCII formats:\r
+MRR small packet throughput changes between releases are available in a\r
+CSV and pretty ASCII formats:\r
 \r
   - `csv format for 1t1c <../_static/vpp/performance-changes-mrr-1t1c-full.csv>`_,\r
   - `csv format for 2t2c <../_static/vpp/performance-changes-mrr-2t2c-full.csv>`_,\r
@@ -89,29 +87,29 @@ pretty ASCII formats:
 Throughput Trending\r
 -------------------\r
 \r
-In addition to reporting throughput changes between VPP releases, CSIT provides\r
-continuous performance trending for VPP master branch:\r
+In addition to reporting throughput changes between VPP releases, CSIT\r
+provides continuous performance trending for VPP master branch:\r
 \r
 #. `VPP Performance Dashboard <https://docs.fd.io/csit/master/trending/introduction/index.html>`_\r
-- per VPP test case throughput trend, trend compliance and summary of detected\r
-anomalies.\r
+   - per VPP test case throughput trend, trend compliance and summary of\r
+   detected anomalies.\r
 \r
 #. `Trending Methodology <https://docs.fd.io/csit/master/trending/methodology/index.html>`_\r
-- throughput test metrics, trend calculations and anomaly classification\r
-(progression, regression, outlier).\r
+   - throughput test metrics, trend calculations and anomaly\r
+   classification (progression, regression, outlier).\r
 \r
 #. `Trendline Graphs <https://docs.fd.io/csit/master/trending/trending/index.html>`_\r
-- per VPP build MRR throughput measurements against the trendline with anomaly\r
-highlights, with associated CSIT test jobs.\r
+   - per VPP build MRR throughput measurements against the trendline\r
+   with anomaly highlights, with associated CSIT test jobs.\r
 \r
 Known Issues\r
 ------------\r
 \r
-Here is the list of known issues in CSIT |release| for VPP performance tests:\r
+List of known issues in CSIT |release| for VPP performance tests:\r
 \r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 | # | Issue                                           | Jira ID    | Description                                                     |\r
-+---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
++===+=================================================+============+=================================================================+\r
 | 1 | Sporadic (1 in 200) NDR discovery test failures | CSIT-570   | DPDK reporting rx-errors, indicating L1 issue. Suspected issue  |\r
 |   | on x520.                                        |            | with HW combination of X710-X520 in LF testbeds. Not observed   |\r
 |   |                                                 |            | outside of LF testbeds.                                         |\r
@@ -125,7 +123,7 @@ Here is the list of known issues in CSIT |release| for VPP performance tests:
 |   |                                                 |            | performance tests.                                              |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 | 4 | IPSec (software, no QAT HW) throughput          | CSIT-1064  | IPSec throughput regression: NDR -3%..-8%, PDR -2%..-8%, MRR    |\r
-|   | regression.                                     |            | -3%..-7%.                                                       |\r
+|   | regression.                                     |            | -3%..-7%. Affects IPSec SW tests, QAT HW tests not affected.    |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 | 5 | High failure rate of creating working container | CSIT-1065  | Orchestrated container topology tests failing data plane        |\r
 |   | topologies with K8s/Ligato orchestration.       |            | verification indicating configuration issue. Suspected issue    |\r