Improve hoststack methodology pages 25/25425/4
authorVratko Polak <vrpolak@cisco.com>
Wed, 26 Feb 2020 17:19:48 +0000 (18:19 +0100)
committerTibor Frank <tifrank@cisco.com>
Tue, 3 Mar 2020 10:05:30 +0000 (10:05 +0000)
+ Also update corresponding chapter names for results.
 - Kept picotls there as in future we may have others.

Change-Id: Ib8037740ebbb2a517e31cc62dfc6a423eb126cba
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
docs/report/introduction/methodology_hoststack_testing/methodology_quic_with_vppecho.rst
docs/report/introduction/methodology_hoststack_testing/methodology_tcp_with_iperf3.rst
docs/report/vpp_performance_tests/hoststack_testing/iperf3/index.rst
docs/report/vpp_performance_tests/hoststack_testing/quic/index.rst

index 329b9a2..064f643 100644 (file)
@@ -1,5 +1,5 @@
-Hoststack Throughput Testing over QUIC/UDP/IP with vpp_echo
-^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
+QUIC/UDP/IP with vpp_echo
+^^^^^^^^^^^^^^^^^^^^^^^^^
 
 `vpp_echo performance testing tool <https://wiki.fd.io/view/VPP/HostStack#External_Echo_Server.2FClient_.28vpp_echo.29>`_
 is a bespoke performance test application which utilizes the 'native
@@ -8,9 +8,9 @@ connection/stream events with uni-directional and bi-directional
 streams of data.
 
 Because iperf3 does not support the QUIC transport protocol, vpp_echo
-is used for measuring the maximum attainable bandwidth of the VPP Host
-Stack connection utilzing the QUIC transport protocol across two
-instances of VPP running on separate DUT nodes.  The QUIC transport
+is used for measuring the maximum attainable goodput of the VPP Host
+Stack connection utilizing the QUIC transport protocol across two
+instances of VPP running on separate DUT nodes. The QUIC transport
 protocol supports multiple streams per connection and test cases
 utilize different combinations of QUIC connections and number of
 streams per connection.
@@ -25,22 +25,22 @@ The test configuration is as follows:
 
 where,
 
- 1. vpp_echo server attaches to VPP2 and LISTENs on VPP2:TCP port 1234.
- 2. vpp_echo client creates one or more connections to VPP1 and opens
-    one or more stream per connection to VPP2:TCP port 1234.
- 3. vpp_echo client transmits a uni-directional stream as fast as the
-    VPP Host Stack allows to the vpp_echo server for the test duration.
- 4. At the end of the test the vpp_echo client emits the goodput
-    measurements for all streams and the sum of all streams.
-
- Test cases include
-
- 1. 1 QUIC Connection with 1 Stream
- 2. 1 QUIC connection with 10 Streams
- 3. 10 QUIC connetions with 1 Stream
- 4. 10 QUIC connections with 10 Streams
-
- with stream sizes to provide reasonable test durations. The VPP Host
- Stack QUIC transport is configured to utilize the picotls encryption
- library. In the future, tests utilizing addtional encryption
- algorithms will be added.
+1. vpp_echo server attaches to VPP2 and LISTENs on VPP2:TCP port 1234.
+2. vpp_echo client creates one or more connections to VPP1 and opens
+   one or more stream per connection to VPP2:TCP port 1234.
+3. vpp_echo client transmits a uni-directional stream as fast as the
+   VPP Host Stack allows to the vpp_echo server for the test duration.
+4. At the end of the test the vpp_echo client emits the goodput
+   measurements for all streams and the sum of all streams.
+
+Test cases include
+
+1. 1 QUIC Connection with 1 Stream
+2. 1 QUIC connection with 10 Streams
+3. 10 QUIC connetions with 1 Stream
+4. 10 QUIC connections with 10 Streams
+
+with stream sizes to provide reasonable test durations. The VPP Host
+Stack QUIC transport is configured to utilize the picotls encryption
+library. In the future, tests utilizing addtional encryption
+algorithms will be added.
index 1355a3c..e0d3e24 100644 (file)
@@ -1,5 +1,5 @@
-Hoststack Throughput Testing over TCP/IP with iperf3
-^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
+TCP/IP with iperf3
+^^^^^^^^^^^^^^^^^^
 
 `iperf3 goodput measurement tool <https://github.com/esnet/iperf>`_
 is used for measuring the maximum attainable goodput of the VPP Host
@@ -26,18 +26,23 @@ The test configuration is as follows:
 
 where,
 
- 1. iperf3 server attaches to VPP2 and LISTENs on VPP2:TCP port 5201.
- 2. iperf3 client attaches to VPP1 and opens one or more stream
-    connections to VPP2:TCP port 5201.
- 3. iperf3 client transmits a uni-directional stream as fast as the
-    VPP Host Stack allows to the iperf3 server for the test duration.
- 4. At the end of the test the iperf3 client emits the goodput
-    measurements for all streams and the sum of all streams.
-
- Test cases include 1 and 10 Streams with a 20 second test duration
- with the VPP Host Stack configured to utilize the Cubic TCP
- congestion algorithm.
-
- Note: iperf3 is single threaded, so it is expected that the 10 stream
- test does not show any performance improvement due to
- multi-thread/multi-core execution.
+1. iperf3 server attaches to VPP2 and LISTENs on VPP2:TCP port 5201.
+2. iperf3 client attaches to VPP1 and opens one or more stream
+   connections to VPP2:TCP port 5201.
+3. iperf3 client transmits a uni-directional stream as fast as the
+   VPP Host Stack allows to the iperf3 server for the test duration.
+4. At the end of the test the iperf3 client emits the goodput
+   measurements for all streams and the sum of all streams.
+
+Test cases include 1 and 10 Streams with a 20 second test duration
+with the VPP Host Stack configured to utilize the Cubic TCP
+congestion algorithm.
+
+Note: iperf3 is single threaded, so it is expected that the 10 stream
+test does not show any performance improvement due to
+multi-thread/multi-core execution.
+
+There are also variations of these test cases which use the VPP Network
+Simulator (NSIM) plugin to test the VPP Hoststack goodput with 1 percent
+of the traffic being dropped at the output interface of VPP1 thereby
+simulating a lossy network.
index 85d120c..b871f58 100644 (file)
@@ -1,2 +1,2 @@
-Hoststack Throughput Testing over TCP/IP with iperf3
-----------------------------------------------------
+TCP/IP with iperf3
+------------------
index c1ec15b..9cf6bef 100644 (file)
@@ -1,2 +1,2 @@
-Hoststack Throughput Testing over QUIC(picotls)/UDP/IP with vpp_echo
---------------------------------------------------------------------
+QUIC(picotls)/UDP/IP with vpp_echo
+----------------------------------