rls1707 report: edits in introduction/csit_design.rst
[csit.git] / docs / report / introduction / csit_test_naming.rst
index a4de765..13eab06 100644 (file)
@@ -5,12 +5,12 @@ Background
 ----------\r
 \r
 CSIT |release| follows a common structured naming convention for all\r
 ----------\r
 \r
 CSIT |release| follows a common structured naming convention for all\r
-performance and system functional tests, introduced in CSIT rls1701.\r
+performance and system functional tests, introduced in CSIT |release-1|.\r
 \r
 The naming should be intuitive for majority of the tests. Complete\r
 description of CSIT test naming convention is provided on\r
 \r
 The naming should be intuitive for majority of the tests. Complete\r
 description of CSIT test naming convention is provided on\r
-`CSIT test naming wiki page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_. Below\r
-few illustrative examples of the naming usage for test suites across CSIT\r
+`CSIT test naming wiki page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.\r
+Below few illustrative examples of the naming usage for test suites across CSIT\r
 performance, functional and HoneyComb management test areas.\r
 \r
 Naming Convention\r
 performance, functional and HoneyComb management test areas.\r
 \r
 Naming Convention\r
@@ -19,26 +19,26 @@ Naming Convention
 The CSIT approach is to use tree naming convention and to encode following\r
 testing information into test suite and test case names:\r
 \r
 The CSIT approach is to use tree naming convention and to encode following\r
 testing information into test suite and test case names:\r
 \r
-1. packet network port configuration\r
+#. packet network port configuration\r
 \r
 \r
-  * port type, physical or virtual;\r
-  * number of ports;\r
-  * NIC model, if applicable;\r
-  * port-NIC locality, if applicable;\r
+   * port type, physical or virtual;\r
+   * number of ports;\r
+   * NIC model, if applicable;\r
+   * port-NIC locality, if applicable;\r
 \r
 \r
-2. packet encapsulations;\r
+#. packet encapsulations;\r
 \r
 \r
-3. VPP packet processing\r
+#. VPP packet processing\r
 \r
 \r
-  * packet forwarding mode;\r
-  * packet processing function(s);\r
+   * packet forwarding mode;\r
+   * packet processing function(s);\r
 \r
 \r
-4. packet forwarding path\r
+#. packet forwarding path\r
 \r
 \r
-  * if present, network functions (processes, containers, VMs) and their\r
-    topology within the computer;\r
+   * if present, network functions (processes, containers, VMs) and their\r
+     topology within the computer;\r
 \r
 \r
-5. main measured variable, type of test.\r
+#. main measured variable, type of test.\r
 \r
 Proposed convention is to encode ports and NICs on the left (underlay),\r
 followed by outer-most frame header, then other stacked headers up to the\r
 \r
 Proposed convention is to encode ports and NICs on the left (underlay),\r
 followed by outer-most frame header, then other stacked headers up to the\r
@@ -58,61 +58,61 @@ topologies:
 \r
 1. **Physical port to physical port - a.k.a. NIC-to-NIC, Phy-to-Phy, P2P**\r
 \r
 \r
 1. **Physical port to physical port - a.k.a. NIC-to-NIC, Phy-to-Phy, P2P**\r
 \r
-  * *PortNICConfig-WireEncapsulation-PacketForwardingFunction-\r
-    PacketProcessingFunction1-...-PacketProcessingFunctionN-TestType*\r
-  * *10ge2p1x520-dot1q-l2bdbasemaclrn-ndrdisc.robot* => 2 ports of 10GE on Intel\r
-    x520 NIC, dot1q tagged Ethernet, L2 bridge-domain baseline switching with\r
-    MAC learning, NDR throughput discovery.\r
-  * *10ge2p1x520-ethip4vxlan-l2bdbasemaclrn-ndrchk.robot* => 2 ports of 10GE on\r
-    Intel x520 NIC, IPv4 VXLAN Ethernet, L2 bridge-domain baseline switching\r
-    with MAC learning, NDR throughput discovery.\r
-  * *10ge2p1x520-ethip4-ip4base-ndrdisc.robot* => 2 ports of 10GE on Intel x520\r
-    NIC, IPv4 baseline routed forwarding, NDR throughput discovery.\r
-  * *10ge2p1x520-ethip6-ip6scale200k-ndrdisc.robot* => 2 ports of 10GE on Intel\r
-    x520 NIC, IPv6 scaled up routed forwarding, NDR throughput discovery.\r
-  * *10ge2p1x520-ethip4-ip4base-iacldstbase-ndrdisc.robot* => 2 ports of 10GE on\r
-    Intel x520 NIC, IPv4 baseline routed forwarding, ingress Access Control\r
-    Lists baseline matching on destination, NDR throughput discovery.\r
-  * *40ge2p1vic1385-ethip4-ip4base-ndrdisc.robot* => 2 ports of 40GE on Cisco\r
-    vic1385 NIC, IPv4 baseline routed forwarding, NDR throughput discovery.\r
-  * *eth2p-ethip4-ip4base-func.robot* => 2 ports of Ethernet, IPv4 baseline\r
-    routed forwarding, functional tests.\r
+   * *PortNICConfig-WireEncapsulation-PacketForwardingFunction-\r
+     PacketProcessingFunction1-...-PacketProcessingFunctionN-TestType*\r
+   * *10ge2p1x520-dot1q-l2bdbasemaclrn-ndrdisc.robot* => 2 ports of 10GE on Intel\r
+     x520 NIC, dot1q tagged Ethernet, L2 bridge-domain baseline switching with\r
+     MAC learning, NDR throughput discovery.\r
+   * *10ge2p1x520-ethip4vxlan-l2bdbasemaclrn-ndrchk.robot* => 2 ports of 10GE on\r
+     Intel x520 NIC, IPv4 VXLAN Ethernet, L2 bridge-domain baseline switching\r
+     with MAC learning, NDR throughput discovery.\r
+   * *10ge2p1x520-ethip4-ip4base-ndrdisc.robot* => 2 ports of 10GE on Intel x520\r
+     NIC, IPv4 baseline routed forwarding, NDR throughput discovery.\r
+   * *10ge2p1x520-ethip6-ip6scale200k-ndrdisc.robot* => 2 ports of 10GE on Intel\r
+     x520 NIC, IPv6 scaled up routed forwarding, NDR throughput discovery.\r
+   * *10ge2p1x520-ethip4-ip4base-iacldstbase-ndrdisc.robot* => 2 ports of 10GE on\r
+     Intel x520 NIC, IPv4 baseline routed forwarding, ingress Access Control\r
+     Lists baseline matching on destination, NDR throughput discovery.\r
+   * *40ge2p1vic1385-ethip4-ip4base-ndrdisc.robot* => 2 ports of 40GE on Cisco\r
+     vic1385 NIC, IPv4 baseline routed forwarding, NDR throughput discovery.\r
+   * *eth2p-ethip4-ip4base-func.robot* => 2 ports of Ethernet, IPv4 baseline\r
+     routed forwarding, functional tests.\r
 \r
 2. **Physical port to VM (or VM chain) to physical port - a.k.a. NIC2VM2NIC,\r
    P2V2P, NIC2VMchain2NIC, P2V2V2P**\r
 \r
 \r
 2. **Physical port to VM (or VM chain) to physical port - a.k.a. NIC2VM2NIC,\r
    P2V2P, NIC2VMchain2NIC, P2V2V2P**\r
 \r
-  * *PortNICConfig-WireEncapsulation-PacketForwardingFunction-\r
-    PacketProcessingFunction1-...-PacketProcessingFunctionN-VirtEncapsulation-\r
-    VirtPortConfig-VMconfig-TestType*\r
-  * *10ge2p1x520-dot1q-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc.robot* => 2 ports\r
-    of 10GE on Intel x520 NIC, dot1q tagged Ethernet, L2 bridge-domain switching\r
-    to/from two vhost interfaces and one VM, NDR throughput discovery.\r
-  * *10ge2p1x520-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc.robot* => 2\r
-    ports of 10GE on Intel x520 NIC, IPv4 VXLAN Ethernet, L2 bridge-domain\r
-    switching to/from two vhost interfaces and one VM, NDR throughput discovery.\r
-  * *10ge2p1x520-ethip4vxlan-l2bdbasemaclrn-eth-4vhost-2vm-ndrdisc.robot* => 2\r
-    ports of 10GE on Intel x520 NIC, IPv4 VXLAN Ethernet, L2 bridge-domain\r
-    switching to/from four vhost interfaces and two VMs, NDR throughput\r
-    discovery.\r
-  * *eth2p-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-func.robot* => 2 ports of\r
-    Ethernet, IPv4 VXLAN Ethernet, L2 bridge-domain switching to/from two vhost\r
-    interfaces and one VM, functional tests.\r
+   * *PortNICConfig-WireEncapsulation-PacketForwardingFunction-\r
+     PacketProcessingFunction1-...-PacketProcessingFunctionN-VirtEncapsulation-\r
+     VirtPortConfig-VMconfig-TestType*\r
+   * *10ge2p1x520-dot1q-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc.robot* => 2 ports\r
+     of 10GE on Intel x520 NIC, dot1q tagged Ethernet, L2 bridge-domain switching\r
+     to/from two vhost interfaces and one VM, NDR throughput discovery.\r
+   * *10ge2p1x520-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc.robot* => 2\r
+     ports of 10GE on Intel x520 NIC, IPv4 VXLAN Ethernet, L2 bridge-domain\r
+     switching to/from two vhost interfaces and one VM, NDR throughput discovery.\r
+   * *10ge2p1x520-ethip4vxlan-l2bdbasemaclrn-eth-4vhost-2vm-ndrdisc.robot* => 2\r
+     ports of 10GE on Intel x520 NIC, IPv4 VXLAN Ethernet, L2 bridge-domain\r
+     switching to/from four vhost interfaces and two VMs, NDR throughput\r
+     discovery.\r
+   * *eth2p-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-func.robot* => 2 ports of\r
+     Ethernet, IPv4 VXLAN Ethernet, L2 bridge-domain switching to/from two vhost\r
+     interfaces and one VM, functional tests.\r
 \r
 3. **API CRUD tests - Create (Write), Read (Retrieve), Update (Modify), Delete\r
    (Destroy) operations for configuration and operational data**\r
 \r
 \r
 3. **API CRUD tests - Create (Write), Read (Retrieve), Update (Modify), Delete\r
    (Destroy) operations for configuration and operational data**\r
 \r
-  * *ManagementTestKeyword-ManagementOperation-ManagedFunction1-...-\r
-    ManagedFunctionN-ManagementAPI1-ManagementAPIN-TestType*\r
-  * *mgmt-cfg-lisp-apivat-func* => configuration of LISP with VAT API calls,\r
-    functional tests.\r
-  * *mgmt-cfg-l2bd-apihc-apivat-func* => configuration of L2 Bridge-Domain with\r
-    HoneyComb API and VAT API calls, functional tests.\r
-  * *mgmt-oper-int-apihcnc-func* => reading status and operational data of\r
-    interface with HoneyComb NetConf API calls, functional tests.\r
-  * *mgmt-cfg-int-tap-apihcnc-func* => configuration of tap interfaces with\r
-    HoneyComb NetConf API calls, functional tests.\r
-  * *mgmt-notif-int-subint-apihcnc-func* => notifications of interface and\r
-    sub-interface events with HoneyComb NetConf Notifications, functional tests.\r
+   * *ManagementTestKeyword-ManagementOperation-ManagedFunction1-...-\r
+     ManagedFunctionN-ManagementAPI1-ManagementAPIN-TestType*\r
+   * *mgmt-cfg-lisp-apivat-func* => configuration of LISP with VAT API calls,\r
+     functional tests.\r
+   * *mgmt-cfg-l2bd-apihc-apivat-func* => configuration of L2 Bridge-Domain with\r
+     HoneyComb API and VAT API calls, functional tests.\r
+   * *mgmt-oper-int-apihcnc-func* => reading status and operational data of\r
+     interface with HoneyComb NetConf API calls, functional tests.\r
+   * *mgmt-cfg-int-tap-apihcnc-func* => configuration of tap interfaces with\r
+     HoneyComb NetConf API calls, functional tests.\r
+   * *mgmt-notif-int-subint-apihcnc-func* => notifications of interface and\r
+     sub-interface events with HoneyComb NetConf Notifications, functional tests.\r
 \r
 For complete description of CSIT test naming convention please refer to `CSIT\r
 test naming wiki page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.\r
 \r
 For complete description of CSIT test naming convention please refer to `CSIT\r
 test naming wiki page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.\r