Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
CSIT 1701 report files and script
[csit.git] / docs / report / vpp_performance_tests_hw / packet_throughput_graphs / l2.rst
diff --git a/docs/report/vpp_performance_tests_hw/packet_throughput_graphs/l2.rst b/docs/report/vpp_performance_tests_hw/packet_throughput_graphs/l2.rst
new file mode 100644 (file)
index 0000000..e3543f8
--- /dev/null
+++ b/docs/report/vpp_performance_tests_hw/packet_throughput_graphs/l2.rst
@@ -0,0 +1,190 @@
+L2 Ethernet Switching\r
+=====================\r
+\r
+Following sections provide a summary of VPP Phy-to-Phy L2 Ethernet switching\r
+performance illustrating NDR throughput (zero packet loss) and PDR throughput\r
+(<0.5% packet loss). Performance is reported for VPP running in multiple\r
+configurations of VPP worker thread(s), a.k.a. VPP data plane thread (s), and\r
+their physical CPU core(s) placement.\r
+\r
+Title of each graph is a regex (regular expression) matching all plotted\r
+test case throughput measurements.\r
+\r
+.. note::\r
+\r
+    Data sources for reported test results: i) FD.io test executor jobs\r
+    `csit-vpp-perf-1701-all\r
+    <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1701-all/>`_ and\r
+    `csit-vpp-perf-1701-long\r
+    <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-1701-long/>`_\r
+    , ii) archived FD.io jobs test result output files\r
+    `csit-vpp-perf-1701-all#job-number <https://nexus.fd.io/link>`_.\r
+\r
+NDR Throughput\r
+~~~~~~~~~~~~~~\r
+\r
+VPP NDR Throughput - running in configuration of **one worker thread (1t) on\r
+one physical core (1c)** - is presented in the figure below.\r
+\r
+.. raw:: html\r
+\r
+    <iframe width="700" height="700" frameborder="0" scrolling="no" src="../../_static/vpp/64B-1t1c-l2-ndrdisc.html"></iframe>\r
+\r
+*Figure 1. VPP 1thread 1core - NDR Throughput for Phy-to-Phy L2 Ethernet\r
+Switching.*\r
+\r
+CSIT test cases used to generate results presented above can be found in CSIT\r
+git repository by filtering with specified regex as follows:\r
+\r
+.. code-block:: bash\r
+\r
+    $ csit/tests/perf\r
+    $ grep -E "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc" *\r
+\r
+    10ge2p1vic1227-eth-l2bdbasemaclrn-ndrdisc.robot:| tc01-64B-1t1c-eth-l2bdbasemaclrn-ndrdisc\r
+    10ge2p1x520-dot1ad-l2xcbase-ndrdisc.robot:| tc01-64B-1t1c-dot1ad-l2xcbase-ndrdisc\r
+    10ge2p1x520-dot1q-l2xcbase-ndrdisc.robot:| tc01-64B-1t1c-dot1q-l2xcbase-ndrdisc\r
+    10ge2p1x520-eth-l2bdbasemaclrn-ndrdisc.robot:| tc01-64B-1t1c-eth-l2bdbasemaclrn-ndrdisc\r
+    10ge2p1x520-eth-l2xcbase-ndrdisc.robot:| tc01-64B-1t1c-eth-l2xcbase-ndrdisc\r
+    10ge2p1x710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc01-64B-1t1c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1vic1385-eth-l2bdbasemaclrn-ndrdisc.robot:| tc01-64B-1t1c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1xl710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc01-64B-1t1c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1xl710-eth-l2xcbase-ndrdisc.robot:| tc01-64B-1t1c-eth-l2xcbase-ndrdisc\r
+\r
+VPP NDR Throughput - running in configuration of **two worker threads (2t) on two\r
+physical cores (2c)** - is presented in the figure below.\r
+\r
+.. raw:: html\r
+\r
+    <iframe width="700" height="700" frameborder="0" scrolling="no" src="../../_static/vpp/64B-2t2c-l2-ndrdisc.html"></iframe>\r
+\r
+*Figure 2. VPP 2threads 2cores - NDR Throughput for Phy-to-Phy L2 Ethernet\r
+Switching.*\r
+\r
+CSIT test cases used to generate results presented above can be found in CSIT\r
+git repository by filtering with specified regex as follows:\r
+\r
+.. code-block:: bash\r
+\r
+    $ csit/tests/perf\r
+    $ grep -E "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc" *\r
+\r
+    10ge2p1vic1227-eth-l2bdbasemaclrn-ndrdisc.robot:| tc07-64B-2t2c-eth-l2bdbasemaclrn-ndrdisc\r
+    10ge2p1x520-dot1ad-l2xcbase-ndrdisc.robot:| tc07-64B-2t2c-dot1ad-l2xcbase-ndrdisc\r
+    10ge2p1x520-dot1q-l2xcbase-ndrdisc.robot:| tc07-64B-2t2c-dot1q-l2xcbase-ndrdisc\r
+    10ge2p1x520-eth-l2bdbasemaclrn-ndrdisc.robot:| tc07-64B-2t2c-eth-l2bdbasemaclrn-ndrdisc\r
+    10ge2p1x520-eth-l2xcbase-ndrdisc.robot:| tc07-64B-2t2c-eth-l2xcbase-ndrdisc\r
+    10ge2p1x710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc07-64B-2t2c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1vic1385-eth-l2bdbasemaclrn-ndrdisc.robot:| tc07-64B-2t2c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1xl710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc07-64B-2t2c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1xl710-eth-l2xcbase-ndrdisc.robot:| tc07-64B-2t2c-eth-l2xcbase-ndrdisc\r
+\r
+VPP NDR Throughput - running in configuration of **four worker threads (4t) on\r
+four physical cores (4c)** - is presented in the figure below.\r
+\r
+.. raw:: html\r
+\r
+    <iframe width="700" height="700" frameborder="0" scrolling="no" src="../../_static/vpp/64B-4t4c-l2-ndrdisc.html"></iframe>\r
+\r
+*Figure 3. VPP 4threads 4cores - NDR Throughput for Phy-to-Phy L2 Ethernet\r
+Switching.*\r
+\r
+CSIT test cases used to generate results presented above can be found in CSIT\r
+git repository by filtering with specified regex as follows:\r
+\r
+.. code-block:: bash\r
+\r
+    $ csit/tests/perf\r
+    $ grep -E "64B-4t4c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc" *\r
+\r
+    10ge2p1vic1227-eth-l2bdbasemaclrn-ndrdisc.robot:| tc13-64B-4t4c-eth-l2bdbasemaclrn-ndrdisc\r
+    10ge2p1x520-dot1ad-l2xcbase-ndrdisc.robot:| tc13-64B-4t4c-dot1ad-l2xcbase-ndrdisc\r
+    10ge2p1x520-dot1q-l2xcbase-ndrdisc.robot:| tc13-64B-4t4c-dot1q-l2xcbase-ndrdisc\r
+    10ge2p1x520-eth-l2bdbasemaclrn-ndrdisc.robot:| tc13-64B-4t4c-eth-l2bdbasemaclrn-ndrdisc\r
+    10ge2p1x520-eth-l2xcbase-ndrdisc.robot:| tc13-64B-4t4c-eth-l2xcbase-ndrdisc\r
+    10ge2p1x710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc13-64B-4t4c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1vic1385-eth-l2bdbasemaclrn-ndrdisc.robot:| tc13-64B-4t4c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1xl710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc13-64B-4t4c-eth-l2bdbasemaclrn-ndrdisc\r
+    40ge2p1xl710-eth-l2xcbase-ndrdisc.robot:| tc13-64B-4t4c-eth-l2xcbase-ndrdisc\r
+\r
+PDR Throughput\r
+~~~~~~~~~~~~~~\r
+\r
+VPP PDR Throughput - running in configuration of **one worker thread (1t) on one\r
+physical core (1c)** - is presented in the figure below. PDR at below 0.5% packet\r
+loss ratio.\r
+\r
+.. raw:: html\r
+\r
+    <iframe width="700" height="700" frameborder="0" scrolling="no" src="../../_static/vpp/64B-1t1c-l2-pdrdisc.html"></iframe>\r
+\r
+*Figure 4. VPP 1thread 1core - PDR Throughput for Phy-to-Phy L2 Ethernet\r
+Switching.*\r
+\r
+CSIT test cases used to generate results presented above can be found in CSIT\r
+git repository by filtering with specified regex as follows:\r
+\r
+.. code-block:: bash\r
+\r
+    $ csit/tests/perf\r
+    $ grep -E "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc" *\r
+\r
+    10ge2p1vic1227-eth-l2bdbasemaclrn-ndrdisc.robot:| tc02-64B-1t1c-eth-l2bdbasemaclrn-pdrdisc\r
+    10ge2p1x520-dot1ad-l2xcbase-ndrdisc.robot:| tc02-64B-1t1c-dot1ad-l2xcbase-pdrdisc\r
+    10ge2p1x520-dot1q-l2xcbase-ndrdisc.robot:| tc02-64B-1t1c-dot1q-l2xcbase-pdrdisc\r
+    10ge2p1x520-eth-l2bdbasemaclrn-ndrdisc.robot:| tc02-64B-1t1c-eth-l2bdbasemaclrn-pdrdisc\r
+    10ge2p1x520-eth-l2xcbase-ndrdisc.robot:| tc02-64B-1t1c-eth-l2xcbase-pdrdisc\r
+    10ge2p1x710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc02-64B-1t1c-eth-l2bdbasemaclrn-pdrdisc\r
+    40ge2p1vic1385-eth-l2bdbasemaclrn-ndrdisc.robot:| tc02-64B-1t1c-eth-l2bdbasemaclrn-pdrdisc\r
+\r
+VPP PDR Throughput - running in configuration of **two worker threads (2t) on\r
+two physical cores (2c)** - is presented in the figure below.\r
+\r
+.. raw:: html\r
+\r
+    <iframe width="700" height="700" frameborder="0" scrolling="no" src="../../_static/vpp/64B-2t2c-l2-pdrdisc.html"></iframe>\r
+\r
+*Figure 5. VPP 2thread 2core - PDR Throughput for Phy-to-Phy L2 Ethernet\r
+Switching.*\r
+\r
+CSIT test cases used to generate results presented above can be found in CSIT\r
+git repository by filtering with specified regex as follows:\r
+\r
+.. code-block:: bash\r
+\r
+    $ csit/tests/perf\r
+    $ grep -E "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc" *\r
+\r
+    10ge2p1vic1227-eth-l2bdbasemaclrn-ndrdisc.robot:| tc08-64B-2t2c-eth-l2bdbasemaclrn-pdrdisc\r
+    10ge2p1x520-dot1ad-l2xcbase-ndrdisc.robot:| tc08-64B-2t2c-dot1ad-l2xcbase-pdrdisc\r
+    10ge2p1x520-dot1q-l2xcbase-ndrdisc.robot:| tc08-64B-2t2c-dot1q-l2xcbase-pdrdisc\r
+    10ge2p1x520-eth-l2bdbasemaclrn-ndrdisc.robot:| tc08-64B-2t2c-eth-l2bdbasemaclrn-pdrdisc\r
+    10ge2p1x520-eth-l2xcbase-ndrdisc.robot:| tc08-64B-2t2c-eth-l2xcbase-pdrdisc\r
+    10ge2p1x710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc08-64B-2t2c-eth-l2bdbasemaclrn-pdrdisc\r
+    40ge2p1vic1385-eth-l2bdbasemaclrn-ndrdisc.robot:| tc08-64B-2t2c-eth-l2bdbasemaclrn-pdrdisc\r
+\r
+VPP PDR Throughput - running in configuration of **four worker threads (4t) on\r
+four physical cores (4c)** - is presented in the figure below.\r
+\r
+.. raw:: html\r
+\r
+    <iframe width="700" height="700" frameborder="0" scrolling="no" src="../../_static/vpp/64B-4t4c-l2-pdrdisc.html"></iframe>\r
+\r
+*Figure 6. VPP 4thread 4core - PDR Throughput for Phy-to-Phy L2 Ethernet\r
+Switching.*\r
+\r
+CSIT test cases used to generate results presented above can be found in CSIT\r
+git repository by filtering with specified regex as follows:\r
+\r
+.. code-block:: bash\r
+\r
+    $ csit/tests/perf\r
+    $ grep -E "64B-4t4c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc" *\r
+\r
+    10ge2p1vic1227-eth-l2bdbasemaclrn-ndrdisc.robot:| tc14-64B-4t4c-eth-l2bdbasemaclrn-pdrdisc\r
+    10ge2p1x520-dot1ad-l2xcbase-ndrdisc.robot:| tc14-64B-4t4c-dot1ad-l2xcbase-pdrdisc\r
+    10ge2p1x520-dot1q-l2xcbase-ndrdisc.robot:| tc14-64B-4t4c-dot1q-l2xcbase-pdrdisc\r
+    10ge2p1x520-eth-l2bdbasemaclrn-ndrdisc.robot:| tc14-64B-4t4c-eth-l2bdbasemaclrn-pdrdisc\r
+    10ge2p1x520-eth-l2xcbase-ndrdisc.robot:| tc14-64B-4t4c-eth-l2xcbase-pdrdisc\r
+    10ge2p1x710-eth-l2bdbasemaclrn-ndrdisc.robot:| tc14-64B-4t4c-eth-l2bdbasemaclrn-pdrdisc\r
+\r
Integration tests