CSIT-744 Update report content for proper parsing
[csit.git] / docs / report / vpp_functional_tests / overview.rst
index e85bb92..fda3507 100644 (file)
@@ -5,14 +5,12 @@ Tested Virtual Topologies
 -------------------------\r
 \r
 CSIT VPP functional tests are executed on virtualized topologies created using\r
 -------------------------\r
 \r
 CSIT VPP functional tests are executed on virtualized topologies created using\r
-Virtual Internet Routing Lab (VIRL) simulation platform contributed by Cisco.\r
-VIRL runs on physical baremetal servers hosted by LF FD.io project.  Majority\r
-of the tests are executed in the three node logical test topology - Traffic\r
-Generator (TG) node and two Systems Under Test (SUT) nodes connected in a\r
-loop. Some tests use two node logical test topology - TG node and SUT1 node.\r
-Both logical test topologies are shown in the figures below.\r
-\r
-::\r
+:abbr:`VIRL (Virtual Internet Routing Lab)` simulation platform contributed by\r
+Cisco. VIRL runs on physical baremetal servers hosted by LF FD.io project.\r
+Majority of the tests are executed in the three node logical test topology -\r
+Traffic Generator (TG) node and two Systems Under Test (SUT) nodes connected in\r
+a loop. Some tests use two node logical test topology - TG node and SUT1 node.\r
+Both logical test topologies are shown in the figures below.::\r
 \r
     +------------------------+           +------------------------+\r
     |                        |           |                        |\r
 \r
     +------------------------+           +------------------------+\r
     |                        |           |                        |\r
@@ -38,7 +36,7 @@ Both logical test topologies are shown in the figures below.
           +--------------->                  <--------------+\r
           |            |  |                  |  |           |\r
           |  |------------>       DUT1       <-----------+  |\r
           +--------------->                  <--------------+\r
           |            |  |                  |  |           |\r
           |  |------------>       DUT1       <-----------+  |\r
-          |  |         |  +--^--^------------+  |        |  |\r
+          |  |         |  +------------------+  |        |  |\r
           |  |         |                        |        |  |\r
           |  |         |                  SUT1  |        |  |\r
           |  |         +------------------------+        |  |\r
           |  |         |                        |        |  |\r
           |  |         |                  SUT1  |        |  |\r
           |  |         +------------------------+        |  |\r
@@ -68,9 +66,7 @@ For the test cases that require DUT (VPP) to communicate with VM over the
 vhost-user interfaces, a nested VM is created on SUT1 and/or SUT2 for the\r
 duration of these particular test cases only. DUT (VPP) test topology with VM\r
 is shown in the figure below including the applicable packet flow thru the VM\r
 vhost-user interfaces, a nested VM is created on SUT1 and/or SUT2 for the\r
 duration of these particular test cases only. DUT (VPP) test topology with VM\r
 is shown in the figure below including the applicable packet flow thru the VM\r
-(marked in the figure with ``***``).\r
-\r
-::\r
+(marked in the figure with ``***``).::\r
 \r
     +------------------------+           +------------------------+\r
     |      +----------+      |           |      +----------+      |\r
 \r
     +------------------------+           +------------------------+\r
     |      +----------+      |           |      +----------+      |\r
@@ -131,31 +127,24 @@ results listed in this report:
 Functional Tests Naming\r
 -----------------------\r
 \r
 Functional Tests Naming\r
 -----------------------\r
 \r
-CSIT |release| introduced a common structured naming convention for all\r
-performance and functional tests. This change was driven by substantially\r
-growing number and type of CSIT test cases. Firstly, the original practice did\r
-not always follow any strict naming convention. Secondly test names did not\r
-always clearly capture tested packet encapsulations, and the actual type or\r
-content of the tests. Thirdly HW configurations in terms of NICs, ports and\r
-their locality were not captured either. These were but few reasons that drove\r
-the decision to change and define a new more complete and stricter test naming\r
-convention, and to apply this to all existing and new test cases.\r
+CSIT |release| follows a common structured naming convention for all\r
+performance and system functional tests, introduced in CSIT |release-1|.\r
 \r
 \r
-The new naming should be intuitive for majority of the tests. The complete\r
-description of CSIT test naming convention is provided on `CSIT test naming\r
-page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.\r
+The naming should be intuitive for majority of the tests. Complete\r
+description of CSIT test naming convention is provided on\r
+`CSIT test naming wiki page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.\r
 \r
 Here few illustrative examples of the new naming usage for functional test\r
 suites:\r
 \r
 #. **Physical port to physical port - a.k.a. NIC-to-NIC, Phy-to-Phy, P2P**\r
 \r
 \r
 Here few illustrative examples of the new naming usage for functional test\r
 suites:\r
 \r
 #. **Physical port to physical port - a.k.a. NIC-to-NIC, Phy-to-Phy, P2P**\r
 \r
-    - *eth2p-ethip4-ip4base-func.robot* => 2 ports of Ethernet, IPv4 baseline\r
-      routed forwarding, functional tests.\r
+   - *eth2p-ethip4-ip4base-func.robot* => 2 ports of Ethernet, IPv4 baseline\r
+     routed forwarding, functional tests.\r
 \r
 #. **Physical port to VM (or VM chain) to physical port - a.k.a. NIC2VM2NIC,\r
    P2V2P, NIC2VMchain2NIC, P2V2V2P**\r
 \r
 \r
 #. **Physical port to VM (or VM chain) to physical port - a.k.a. NIC2VM2NIC,\r
    P2V2P, NIC2VMchain2NIC, P2V2V2P**\r
 \r
-    - *eth2p-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-func.robot* => 2 ports of\r
-      Ethernet, IPv4 VXLAN Ethernet, L2 bridge-domain switching to/from two vhost\r
-      interfaces and one VM, functional tests.\r
+   - *eth2p-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-func.robot* => 2 ports of\r
+     Ethernet, IPv4 VXLAN Ethernet, L2 bridge-domain switching to/from two vhost\r
+     interfaces and one VM, functional tests.\r