csit rls1704 report: final update to csit_release_notes.rst, packet_*_graphs.rst... 95/6495/2
authorMaciek Konstantynowicz <mkonstan@cisco.com>
Thu, 27 Apr 2017 11:11:56 +0000 (12:11 +0100)
committerMaciek Konstantynowicz <mkonstan@cisco.com>
Thu, 27 Apr 2017 12:02:13 +0000 (13:02 +0100)
Change-Id: I531706f87716a3db8c5417be6ce4933e02e2a622
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>
15 files changed:
docs/report/vpp_performance_tests/csit_release_notes.rst
docs/report/vpp_performance_tests/packet_latency_graphs/ipsec.rst
docs/report/vpp_performance_tests/packet_latency_graphs/ipv4.rst
docs/report/vpp_performance_tests/packet_latency_graphs/ipv4_tunnels.rst
docs/report/vpp_performance_tests/packet_latency_graphs/ipv6.rst
docs/report/vpp_performance_tests/packet_latency_graphs/ipv6_tunnels.rst
docs/report/vpp_performance_tests/packet_latency_graphs/l2.rst
docs/report/vpp_performance_tests/packet_latency_graphs/vm_vhost.rst
docs/report/vpp_performance_tests/packet_throughput_graphs/ipsec.rst
docs/report/vpp_performance_tests/packet_throughput_graphs/ipv4.rst
docs/report/vpp_performance_tests/packet_throughput_graphs/ipv4_tunnels.rst
docs/report/vpp_performance_tests/packet_throughput_graphs/ipv6.rst
docs/report/vpp_performance_tests/packet_throughput_graphs/ipv6_tunnels.rst
docs/report/vpp_performance_tests/packet_throughput_graphs/l2.rst
docs/report/vpp_performance_tests/packet_throughput_graphs/vm_vhost.rst

index 8aa4533..8ab00d7 100644 (file)
@@ -74,6 +74,8 @@ Non-Drop Rate Throughput discovery tests:
 +-------------------+-----------------------------------------------------------------+------------+-----------+-----------+-----------------+\r
 | IPv6 iAcl         | 10ge2p1x520: 78B-1t1c-ethip6-ip6base-iacldstbase-ndrdisc        | 6.5        | 6.1       | 6.9       | 13%             |\r
 +-------------------+-----------------------------------------------------------------+------------+-----------+-----------+-----------------+\r
+| IPv6 FIB 2M       | 10ge2p1x520: 78B-1t1c-ethip6-ip6scale2m-ndrdisc                 | 5.3        | 4.2       | 4.6       | 10%             |\r
++-------------------+-----------------------------------------------------------------+------------+-----------+-----------+-----------------+\r
 \r
 PDR Throughput\r
 ~~~~~~~~~~~~~~\r
@@ -98,6 +100,8 @@ Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:
 +-------------------+-----------------------------------------------------------------+-----------+-----------+-----------+-----------------+\r
 | IPv6 iAcl         | 10ge2p1x520: 78B-1t1c-ethip6-ip6base-iacldstbase-pdrdisc        | 6.5       | 6.1       | 6.9       | 13%             |\r
 +-------------------+-----------------------------------------------------------------+-----------+-----------+-----------+-----------------+\r
+| IPv6 FIB 2M       | 10ge2p1x520: 78B-1t1c-ethip6-ip6scale2m-pdrdisc                 | 5.3       | 4.2       | 4.6       | 10%             |\r
++-------------------+-----------------------------------------------------------------+-----------+-----------+-----------+-----------------+\r
 \r
 Measured improvements are in line with VPP code optimizations listed in\r
 `VPP-17.04 release notes\r
@@ -156,8 +160,6 @@ Non-Drop Rate Throughput discovery tests:
 +-------------------+-----------------------------------------------------------------+------------+-----------+-----------+-----------------+\r
 | IPv6 FIB 20k      | 10ge2p1x520: 78B-1t1c-ethip6-ip6scale20k-ndrdisc                | 6.9        | 6.5       | 6.9       | 6%              |\r
 +-------------------+-----------------------------------------------------------------+------------+-----------+-----------+-----------------+\r
-| IPv6 FIB 2M       | 10ge2p1x520: 78B-1t1c-ethip6-ip6scale2m-ndrdisc                 | 5.3        | 4.2       | 4.6       | 10%             |\r
-+-------------------+-----------------------------------------------------------------+------------+-----------+-----------+-----------------+\r
 \r
 PDR Throughput\r
 ~~~~~~~~~~~~~~\r
@@ -196,8 +198,6 @@ Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:
 +-------------------+-----------------------------------------------------------------+-----------+-----------+-----------+-----------------+\r
 | IPv6 FIB 20k      | 10ge2p1x520: 78B-1t1c-ethip6-ip6scale20k-pdrdisc                | 6.9       | 6.5       | 6.9       | 6%              |\r
 +-------------------+-----------------------------------------------------------------+-----------+-----------+-----------+-----------------+\r
-| IPv6 FIB 2M       | 10ge2p1x520: 78B-1t1c-ethip6-ip6scale2m-pdrdisc                 | 5.3       | 4.2       | 4.6       | 10%             |\r
-+-------------------+-----------------------------------------------------------------+-----------+-----------+-----------+-----------------+\r
 \r
 Known Issues\r
 ------------\r
index 82f297e..0c506f7 100644 (file)
@@ -30,7 +30,7 @@ ii) East-to-West: TGint2-to-SUT2-to-SUT1-to-TGint1.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_.
 
 VPP packet latency in 1t1c setup (1thread, 1core) is presented in the graph below.
 
index fb85fe9..5ddf813 100644 (file)
@@ -27,7 +27,7 @@ ii) East-to-West: TGint2-to-SUT2-to-SUT1-to-TGint1.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_.
 
 VPP packet latency in 1t1c setup (1thread, 1core) is presented in the graph below.
 
index 42f5ced..ab39a97 100644 (file)
@@ -27,7 +27,7 @@ ii) East-to-West: TGint2-to-SUT2-to-SUT1-to-TGint1.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_.
 
 VPP packet latency in 1t1c setup (1thread, 1core) is presented in the graph below.
 
index 7d4cd70..93c1bef 100644 (file)
@@ -27,7 +27,7 @@ ii) East-to-West: TGint2-to-SUT2-to-SUT1-to-TGint1.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_.
 
 VPP packet latency in 1t1c setup (1thread, 1core) is presented in the graph below.
 
index c54509d..186bbfd 100644 (file)
@@ -27,7 +27,7 @@ ii) East-to-West: TGint2-to-SUT2-to-SUT1-to-TGint1.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_.
 
 VPP packet latency in 1t1c setup (1thread, 1core) is presented in the graph below.
 
index f7836fe..a017a42 100644 (file)
@@ -27,7 +27,7 @@ ii) East-to-West: TGint2-to-SUT2-to-SUT1-to-TGint1.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_.
 
 VPP packet latency in 1t1c setup (1thread, 1core) is presented in the graph below.
 
index 2e3071d..d501028 100644 (file)
@@ -28,7 +28,7 @@ ii) East-to-West: TGint2-to-SUT2-to-SUT1-to-TGint1.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_.
 
 VPP packet latency in 1t1c setup (1thread, 1core) is presented in the graph below.
 
index 6358030..ad71a8a 100644 (file)
@@ -10,11 +10,15 @@ Performance is reported for VPP running in multiple configurations of
 VPP worker thread(s), a.k.a. VPP data plane thread(s), and their
 physical CPU core(s) placement.
 
-Results are generated by multiple executions of the same CSIT tests.
-In order to display variation in measured throughput values, Box-and-
-whisker plots are used to show their quartiles (Min, 1st quartile / 25th
-percentile, 2nd quartile / 50th percentile / mean, 3rd quartile / 75th
-percentile, Max). Outliers are plotted as individual points.
+Results are generated by multiple executions of the same CSIT
+performance tests across three physical testbeds within LF FD.io labs.
+To provide a descriptive summary view, Box-and-Whisker plots are used to
+display variation in measured throughput values, without making any
+assumptions of the underlying statistical distribution. For each plotted
+test case, Box-and-Whisker plots show the quartiles (Min, 1st quartile
+/ 25th percentile, 2nd quartile / 50th percentile / mean, 3rd quartile /
+75th percentile, Max) across collected data set (data set size stated in
+the note below). Outliers are plotted as individual points.
 
 *Title of each graph* is a regex (regular expression) matching all
 throughput test cases plotted on this graph, *X-axis labels* are indices
@@ -29,7 +33,9 @@ legend* lists the plotted test suites and their indices.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_. Plotted data set size per
+    test case is equal to the number of job executions presented in this
+    report version: **5**.
 
 NDR Throughput
 ~~~~~~~~~~~~~~
index be4af20..cd57cbd 100644 (file)
@@ -7,11 +7,15 @@ and PDR throughput (<0.5% packet loss). Performance is reported for VPP
 running in multiple configurations of VPP worker thread(s), a.k.a. VPP
 data plane thread(s), and their physical CPU core(s) placement.
 
-Results are generated by multiple executions of the same CSIT tests.
-In order to display variation in measured throughput values, Box-and-
-whisker plots are used to show their quartiles (Min, 1st quartile / 25th
-percentile, 2nd quartile / 50th percentile / mean, 3rd quartile / 75th
-percentile, Max). Outliers are plotted as individual points.
+Results are generated by multiple executions of the same CSIT
+performance tests across three physical testbeds within LF FD.io labs.
+To provide a descriptive summary view, Box-and-Whisker plots are used to
+display variation in measured throughput values, without making any
+assumptions of the underlying statistical distribution. For each plotted
+test case, Box-and-Whisker plots show the quartiles (Min, 1st quartile
+/ 25th percentile, 2nd quartile / 50th percentile / mean, 3rd quartile /
+75th percentile, Max) across collected data set (data set size stated in
+the note below). Outliers are plotted as individual points.
 
 *Title of each graph* is a regex (regular expression) matching all
 throughput test cases plotted on this graph, *X-axis labels* are indices
@@ -26,7 +30,9 @@ legend* lists the plotted test suites and their indices.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_. Plotted data set size per
+    test case is equal to the number of job executions presented in this
+    report version: **5**.
 
 NDR Throughput
 ~~~~~~~~~~~~~~
index f99c0a5..0701ed0 100644 (file)
@@ -7,11 +7,15 @@ and PDR throughput (<0.5% packet loss).  Performance is reported for VPP
 running in multiple configurations of VPP worker thread(s), a.k.a. VPP
 data plane thread(s), and their physical CPU core(s) placement.
 
-Results are generated by multiple executions of the same CSIT tests.
-In order to display variation in measured throughput values, Box-and-
-whisker plots are used to show their quartiles (Min, 1st quartile / 25th
-percentile, 2nd quartile / 50th percentile / mean, 3rd quartile / 75th
-percentile, Max). Outliers are plotted as individual points.
+Results are generated by multiple executions of the same CSIT
+performance tests across three physical testbeds within LF FD.io labs.
+To provide a descriptive summary view, Box-and-Whisker plots are used to
+display variation in measured throughput values, without making any
+assumptions of the underlying statistical distribution. For each plotted
+test case, Box-and-Whisker plots show the quartiles (Min, 1st quartile
+/ 25th percentile, 2nd quartile / 50th percentile / mean, 3rd quartile /
+75th percentile, Max) across collected data set (data set size stated in
+the note below). Outliers are plotted as individual points.
 
 *Title of each graph* is a regex (regular expression) matching all
 throughput test cases plotted on this graph, *X-axis labels* are indices
@@ -26,7 +30,9 @@ legend* lists the plotted test suites and their indices.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_. Plotted data set size per
+    test case is equal to the number of job executions presented in this
+    report version: **5**.
 
 NDR Throughput
 ~~~~~~~~~~~~~~
index c475ab8..e2b8554 100644 (file)
@@ -7,11 +7,15 @@ and PDR throughput (<0.5% packet loss). Performance is reported for VPP
 running in multiple configurations of VPP worker thread(s), a.k.a. VPP
 data plane thread(s), and their physical CPU core(s) placement.
 
-Results are generated by multiple executions of the same CSIT tests.
-In order to display variation in measured throughput values, Box-and-
-whisker plots are used to show their quartiles (Min, 1st quartile / 25th
-percentile, 2nd quartile / 50th percentile / mean, 3rd quartile / 75th
-percentile, Max). Outliers are plotted as individual points.
+Results are generated by multiple executions of the same CSIT
+performance tests across three physical testbeds within LF FD.io labs.
+To provide a descriptive summary view, Box-and-Whisker plots are used to
+display variation in measured throughput values, without making any
+assumptions of the underlying statistical distribution. For each plotted
+test case, Box-and-Whisker plots show the quartiles (Min, 1st quartile
+/ 25th percentile, 2nd quartile / 50th percentile / mean, 3rd quartile /
+75th percentile, Max) across collected data set (data set size stated in
+the note below). Outliers are plotted as individual points.
 
 *Title of each graph* is a regex (regular expression) matching all
 throughput test cases plotted on this graph, *X-axis labels* are indices
@@ -26,7 +30,9 @@ legend* lists the plotted test suites and their indices.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_. Plotted data set size per
+    test case is equal to the number of job executions presented in this
+    report version: **5**.
 
 NDR Throughput
 ~~~~~~~~~~~~~~
index 79e7744..ebc585e 100644 (file)
@@ -7,11 +7,15 @@ and PDR throughput (<0.5% packet loss). Performance is reported for VPP
 running in multiple configurations of VPP worker thread(s), a.k.a. VPP
 data plane thread(s), and their physical CPU core(s) placement.
 
-Rresults are generated by multiple executions of the same CSIT tests.
-In order to display variation in measured throughput values, Box-and-
-whisker plots are used to show their quartiles (Min, 1st quartile / 25th
-percentile, 2nd quartile / 50th percentile / mean, 3rd quartile / 75th
-percentile, Max). Outliers are plotted as individual points.
+Results are generated by multiple executions of the same CSIT
+performance tests across three physical testbeds within LF FD.io labs.
+To provide a descriptive summary view, Box-and-Whisker plots are used to
+display variation in measured throughput values, without making any
+assumptions of the underlying statistical distribution. For each plotted
+test case, Box-and-Whisker plots show the quartiles (Min, 1st quartile
+/ 25th percentile, 2nd quartile / 50th percentile / mean, 3rd quartile /
+75th percentile, Max) across collected data set (data set size stated in
+the note below). Outliers are plotted as individual points.
 
 *Title of each graph* is a regex (regular expression) matching all
 throughput test cases plotted on this graph, *X-axis labels* are indices
@@ -26,7 +30,9 @@ legend* lists the plotted test suites and their indices.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_. Plotted data set size per
+    test case is equal to the number of job executions presented in this
+    report version: **5**.
 
 NDR Throughput
 ~~~~~~~~~~~~~~
index d9a6901..5344dd7 100644 (file)
@@ -7,11 +7,15 @@ and PDR throughput (<0.5% packet loss). Performance is reported for VPP
 running in multiple configurations of VPP worker thread(s), a.k.a. VPP
 data plane thread(s), and their physical CPU core(s) placement.
 
-Results are generated by multiple executions of the same CSIT tests.
-In order to display variation in measured throughput values, Box-and-
-whisker plots are used to show their quartiles (Min, 1st quartile / 25th
-percentile, 2nd quartile / 50th percentile / mean, 3rd quartile / 75th
-percentile, Max). Outliers are plotted as individual points.
+Results are generated by multiple executions of the same CSIT
+performance tests across three physical testbeds within LF FD.io labs.
+To provide a descriptive summary view, Box-and-Whisker plots are used to
+display variation in measured throughput values, without making any
+assumptions of the underlying statistical distribution. For each plotted
+test case, Box-and-Whisker plots show the quartiles (Min, 1st quartile
+/ 25th percentile, 2nd quartile / 50th percentile / mean, 3rd quartile /
+75th percentile, Max) across collected data set (data set size stated in
+the note below). Outliers are plotted as individual points.
 
 *Title of each graph* is a regex (regular expression) matching all
 throughput test cases plotted on this graph, *X-axis labels* are indices
@@ -26,7 +30,9 @@ legend* lists the plotted test suites and their indices.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_. Plotted data set size per
+    test case is equal to the number of job executions presented in this
+    report version: **5**.
 
 NDR Throughput
 ~~~~~~~~~~~~~~
index e4c6af9..818a9de 100644 (file)
@@ -8,11 +8,15 @@ packet loss). Performance is reported for VPP running in multiple
 configurations of VPP worker thread(s), a.k.a. VPP data plane thread(s),
 and their physical CPU core(s) placement.
 
-Results are generated by multiple executions of the same CSIT tests.
-In order to display variation in measured throughput values, Box-and-
-whisker plots are used to show their quartiles (Min, 1st quartile / 25th
-percentile, 2nd quartile / 50th percentile / mean, 3rd quartile / 75th
-percentile, Max). Outliers are plotted as individual points.
+Results are generated by multiple executions of the same CSIT
+performance tests across three physical testbeds within LF FD.io labs.
+To provide a descriptive summary view, Box-and-Whisker plots are used to
+display variation in measured throughput values, without making any
+assumptions of the underlying statistical distribution. For each plotted
+test case, Box-and-Whisker plots show the quartiles (Min, 1st quartile
+/ 25th percentile, 2nd quartile / 50th percentile / mean, 3rd quartile /
+75th percentile, Max) across collected data set (data set size stated in
+the note below). Outliers are plotted as individual points.
 
 *Title of each graph* is a regex (regular expression) matching all
 throughput test cases plotted on this graph, *X-axis labels* are indices
@@ -27,7 +31,9 @@ legend* lists the plotted test suites and their indices.
     `csit-vpp-perf-1704-all
     <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1704-all/>`_,
     with Robot Framework result files csit-vpp-perf-1704-all-<id>.zip
-    `archived here <../../_static/archive/>`_
+    `archived here <../../_static/archive/>`_. Plotted data set size per
+    test case is equal to the number of job executions presented in this
+    report version: **5**.
 
 NDR Throughput
 ~~~~~~~~~~~~~~