CSIT 1801 report update
[csit.git] / docs / report / vpp_functional_tests / test_environment.rst
index bd57558..5b29b2d 100644 (file)
@@ -2,34 +2,48 @@ Test Environment
 ================\r
 \r
 CSIT functional tests are currently executed in FD.IO VIRL testbed. The physical\r
-VIRL testbed infrastructure consists of three identical VIRL hosts:\r
+VIRL testbed infrastructure consists of three VIRL hosts:\r
 \r
 - All hosts are Cisco UCS C240-M4 (2x Intel(R) Xeon(R) CPU E5-2699 v3 @2.30GHz,\r
   18c, 512GB RAM)\r
-- Hosts run Ubuntu 14.04.3\r
-- VIRL software versions:\r
 \r
-  - STD server version 0.10.24.7\r
-  - UWM server version 0.10.24.7\r
+- tb4-virl1:\r
+\r
+  - Status: Production\r
+  - OS: Ubuntu 16.04.2\r
+  - STD server version 0.10.32.16\r
+  - UWM server version 0.10.32.16\r
+\r
+- tb4-virl2:\r
+\r
+  - Status: Production\r
+  - OS: Ubuntu 16.04.2\r
+  - STD server version 0.10.32.16\r
+  - UWM server version 0.10.32.16\r
+\r
+- tb4-virl3:\r
+\r
+  - Status: Testing\r
+  - OS: Ubuntu 16.04.2\r
+  - STD server version 0.10.32.19\r
+  - UWM server version 0.10.32.19\r
 \r
 Whenever a patch is submitted to gerrit for review, parallel VIRL simulations\r
 are started to reduce the time of execution of all functional tests. The number\r
 of parallel VIRL simulations is equal to number of test groups defined by\r
-TEST_GROUPS variable in csit/bootstrap.sh file. The VIRL host to run VIRL\r
-simulation is selected based on least load algorithm per VIRL simulation.\r
+TEST_GROUPS variable in :file:`csit/bootstrap.sh` file. The VIRL host to run\r
+VIRL simulation is selected based on least load algorithm per VIRL simulation.\r
 \r
 Every VIRL simulation uses the same three-node - Traffic Generator (TG node) and\r
 two Systems Under Test (SUT1 and SUT2) - "double-ring" topology. The appropriate\r
 pre-built VPP packages built by Jenkins for the patch under review are then\r
-installed on the two SUTs, along with their /etc/vpp/startup.conf file, in all\r
-VIRL simulations.\r
+installed on the two SUTs, along with their :file:`/etc/vpp/startup.conf` file,\r
+in all VIRL simulations.\r
 \r
 SUT Configuration - VIRL Guest VM\r
 ---------------------------------\r
 \r
-Configuration of the SUT VMs is defined in file\r
-\r
-   /csit/resources/tools/virl/topologies/double-ring-nested.xenial.virl\r
+Configurations of the SUT VMs is defined in `VIRL topologies directory`_\r
 \r
 - List of SUT VM interfaces:::\r
 \r
@@ -50,48 +64,43 @@ SUT Configuration - VIRL Guest OS Linux
 In CSIT terminology, the VM operating system for both SUTs that |vpp-release| has\r
 been tested with, is the following:\r
 \r
-**#. Ubuntu VIRL image**\r
-\r
-This image implies Ubuntu 16.04.1 LTS, current as of yyyy-mm-dd (that is,\r
-package versions are those that would have been installed by a "apt-get update",\r
-"apt-get upgrade" on that day), produced by CSIT disk image build scripts.\r
-\r
-The exact list of installed packages and their versions (including the Linux\r
-kernel package version) are included in CSIT source repository:\r
+#. **Ubuntu VIRL image**\r
 \r
-  resources/tools/disk-image-builder/ubuntu/lists/|virl-image-ubuntu|\r
+   This image implies Ubuntu 16.04.1 LTS, current as of yyyy-mm-dd (that is,\r
+   package versions are those that would have been installed by a\r
+   :command:`apt-get update`, :command:`apt-get upgrade` on that day), produced\r
+   by CSIT disk image build scripts.\r
 \r
-A replica of this VM image can be built by running the "build.sh" script in CSIT\r
-repository resources/tools/disk-image-builder/ubuntu.\r
+   The exact list of installed packages and their versions (including the Linux\r
+   kernel package version) are included in `VIRL images lists`_.\r
 \r
-**#. CentOS VIRL image**\r
+   A replica of this VM image can be built by running the :command:`build.sh`\r
+   script in CSIT repository.\r
 \r
-The Centos7.3 image is ready to be used but no tests running on it now.\r
-Corresponding Jenkins jobs are under preparation.\r
+#. **CentOS VIRL image**\r
 \r
-The exact list of installed packages and their versions (including the Linux\r
-kernel package version) are included in CSIT source repository:\r
+   The Centos7.3 image is ready to be used but no tests running on it now.\r
+   Corresponding Jenkins jobs are under preparation.\r
 \r
-  resources/tools/disk-image-builder/ubuntu/lists/|virl-image-centos|\r
+   The exact list of installed packages and their versions (including the Linux\r
+   kernel package version) are included in `VIRL images lists`_.\r
 \r
-A replica of this VM image can be built by running the "build.sh" script in CSIT\r
-repository resources/tools/disk-image-builder/centos.\r
+   A replica of this VM image can be built by running the :command:`build.sh`\r
+   script in CSIT repository.\r
 \r
-**#. Nested VM image**\r
+#. **Nested VM image**\r
 \r
-In addition to the "main" VM image, tests which require VPP to communicate to a\r
-VM over a vhost-user interface, utilize a "nested" VM image.\r
+   In addition to the "main" VM image, tests which require VPP to communicate to\r
+   a VM over a vhost-user interface, utilize a "nested" VM image.\r
 \r
-This "nested" VM is dynamically created and destroyed as part of a test case,\r
-and therefore the "nested" VM image is optimized to be small, lightweight and\r
-have a short boot time. The "nested" VM image is not built around any\r
-established Linux distribution, but is based on `BuildRoot\r
-<https://buildroot.org/>`_, a tool for building embedded Linux systems. Just as\r
-for the "main" image, scripts to produce an identical replica of the "nested"\r
-image are included in CSIT GIT repository, and the image can be rebuilt using\r
-the "build.sh" script at:\r
-\r
-   resources/tools/disk-image-builder/ubuntu/lists/nested\r
+   This "nested" VM is dynamically created and destroyed as part of a test case,\r
+   and therefore the "nested" VM image is optimized to be small, lightweight and\r
+   have a short boot time. The "nested" VM image is not built around any\r
+   established Linux distribution, but is based on `BuildRoot\r
+   <https://buildroot.org/>`_, a tool for building embedded Linux systems. Just\r
+   as for the "main" image, scripts to produce an identical replica of the\r
+   "nested" image are included in CSIT GIT repository, and the image can be\r
+   rebuilt using the "build.sh" script at `VIRL nested`_.\r
 \r
 DUT Configuration - VPP\r
 -----------------------\r
@@ -102,9 +111,7 @@ Under Test (DUT) node.
 **DUT port configuration**\r
 \r
 Port configuration of DUTs is defined in topology file that is generated per\r
-VIRL simulation based on the definition stored in file\r
-\r
-   /csit/resources/tools/virl/topologies/double-ring-nested.xenial.yaml\r
+VIRL simulation based on the definition stored in `VIRL topologies directory`_.\r
 \r
 Example of DUT nodes configuration:::\r
 \r
@@ -358,7 +365,7 @@ Traffic scripts of test cases are executed on this VM.
 \r
 **TG VM configuration**\r
 \r
-Configuration of the TG VMs is defined in file\r
+Configuration of the TG VMs is defined in `VIRL topologies directory`_.\r
 \r
    /csit/resources/tools/virl/topologies/double-ring-nested.xenial.virl\r
 \r
@@ -374,9 +381,7 @@ Configuration of the TG VMs is defined in file
 **TG node port configuration**\r
 \r
 Port configuration of TG is defined in topology file that is generated per VIRL\r
-simulation based on the definition stored in file\r
-\r
-   /csit/resources/tools/virl/topologies/double-ring-nested.xenial.yaml\r
+simulation based on the definition stored in `VIRL topologies directory`_.\r
 \r
 Example of TG node configuration:::\r
 \r