docs/report/honeycomb_functional_tests/overview.rst

   1 Overview
   2 ========
   3
   4 Tested Virtual Topologies
   5 -------------------------
   6
   7 CSIT Honeycomb functional tests are executed on virtualized topologies created
   8 using :abbr:`VIRL (Virtual Internet Routing Lab)` simulation platform
   9 contributed by Cisco. VIRL runs on physical baremetal servers hosted by LF FD.io
  10 project. All tests are executed in two node logical test topology - Traffic
  11 Generator (TG) node and Systems Under Test (SUT1) node connected in a loop.
  12 Logical test topology is shown in the figure below.
  13
  14 .. only:: latex
  15
  16     .. raw:: latex
  17
  18         \begin{figure}[H]
  19             \centering
  20                 \graphicspath{{../_tmp/src/vpp_performance_tests/}}
  21                 \includegraphics[width=0.90\textwidth]{logical-2n-nic2nic}
  22                 \label{fig:logical-2n-nic2nic}
  23         \end{figure}
  24
  25 .. only:: html
  26
  27     .. figure:: logical-2n-nic2nic.svg
  28         :alt: logical-2n-nic2nic
  29         :align: center
  30
  31 SUT1 is a VM (Ubuntu or Centos, depending on the test suite), TG is a Traffic
  32 Generator (TG, another Ubuntu VM). SUTs run Honeycomb and VPP SW applications
  33 in Linux user-mode as a Device Under Test (DUT) within the VM. TG runs Scapy
  34 SW application as a packet Traffic Generator. Logical connectivity between
  35 SUTs and to TG is provided using virtual NICs using VMs' virtio driver.
  36
  37 Virtual testbeds are created on-demand whenever a verification job is started
  38 (e.g. triggered by the gerrit patch submission) and destroyed upon completion
  39 of all functional tests. Each node is a Virtual Machine and each connection
  40 that is drawn on the diagram is available for use in any test case. During the
  41 test execution, all nodes are reachable thru the Management network connected
  42 to every node via dedicated virtual NICs and virtual links (not shown above
  43 for clarity).
  44
  45 Functional Tests Coverage
  46 -------------------------
  47
  48 The following Honeycomb functional test areas are included in the |csit-release|
  49 with results listed in this report:
  50
  51 - **Basic interface management** - CRUD for interface state,
  52   - ipv4/ipv6 address, ipv4 neighbor, MTU value.
  53   - Test case count: 14
  54 - **L2BD** - CRUD for L2 Bridge-Domain, interface assignment.
  55   - Create up to two bridge domains with all implemented functions turned on.
  56   - (flooding, unknown-unicast flooding, forwarding, learning, arp-termination)
  57   - Assign up to two physical interfaces to a single bridge domain.
  58   - Remove interface assignments, remove bridge domains.
  59   - Test case count: 5
  60 - **L2FIB** - CRD for L2-FIB entries.
  61   - Create 4 FIB entries
  62   - (one of each for filter/forward, static/dynamic combinations).
  63   - Remove FIB entries.
  64   - Test case count: 7
  65 - **VxLAN** - CRD for VxLAN tunnels.
  66   - Create VxLAN interface.
  67   - Disable VxLAN interface.
  68   - Re-create a disabled VxLAN interface.
  69   - Test case count: 6
  70 - **VxLAN-GPE** - CRD for VxLAN GPE tunnels.
  71   - Create VxLAN GPE interface.
  72   - Disable VxLAN interface.
  73   - Re-create a disabled VxLAN interface.
  74   - Test case count: 7
  75 - **Vhost-user** - CRUD for Vhost-user interfaces.
  76   - Create, modify and delete Vhost-user interface, as client and server.
  77   - Test case count: 8
  78 - **TAP** - CRUD for Tap interface management.
  79   - Create, modify and delete TAP interface.
  80   - Test case count: 3
  81 - **VLAN** - CRUD for VLAN sub-interface management.
  82   - Create VLAN sub-interface over a physical interface.
  83   - Toggle interface state separately for super-interface and sub-interface.
  84   - Configure IP address and bridge domain assignment on sub-interface.
  85   - Configure VLAN tag rewrite on sub-interface.
  86   - Test case count: 24
  87 - **ACL** - CRD for low-level classifiers: table and session management,
  88   - interface assignment.
  89   - Configure up to 2 classify tables.
  90   - Configure up to 2 classify sessions on one table.
  91   - Assign classify session to a physical interface.
  92   - Remove tables, sessions, interface assignments.
  93   - Test case count: 9
  94 - **PBB** - CRD for provider backbone bridge sub-interface.
  95   - Configure, modify and remove a PBB sub-interface over a physical interface.
  96   - Test case count: 8
  97 - **NSH_SFC** - CRD for NSH maps and entries, using NSH_SFC plugin.
  98   - Configure up to 2 NSH entries.
  99   - Configure up to 2 NSH maps.
 100   - Modify and delete NSH maps and entries.
 101   - Test case count: 8
 102 - **LISP** - CRD for Lisp: mapping, locator set, adjacency, map resolver.
 103   - Toggle Lisp feature status.
 104   - Configure and delete Lisp mapping as local and remote.
 105   - Configure and delete Lisp adjacency mapping
 106   - Configure and delete Lisp map resolver, proxy ITR.
 107   - Test case count: 18
 108 - **LISP GPE** - CRUD for LISP GPE mappings.
 109   - Toggle Lisp GPE feature status.
 110   - Configure Lisp GPE mappings.
 111   - Traffic test verifying encapsulation.
 112   - Test case count: 12
 113 - **NAT** - CRD for NAT entries, interface assignment.
 114   - Configure and delete up to two NAT entries.
 115   - Assign NAT entries to a physical interface.
 116   - Test case count: 6
 117 - **Port mirroring** - CRD for SPAN port mirroring, interface assignment.
 118   - Configure SPAN port mirroring on a physical interface, mirroring
 119   - up to 2 interfaces.
 120   - Remove SPAN configuration from interfaces.
 121   - Test case count: 14
 122 - **ACL-PLUGIN** - CRD for high-level classifier
 123   - MAC + IP address classification.
 124   - IPv4, IPv6 address classification.
 125   - TCP, UDP, ICMP, ICMPv6 protocol/next-header classification.
 126   - port number classification.
 127   - ICMP, ICMPv6 code and type classification.
 128   - Test case count: 15
 129 - **ProxyARP** - CRD for proxyARP feature.
 130   - Configure proxyARP.
 131   - Assign to interface.
 132   - Test case count: 3
 133 - **ProxyND6** - CRD for Neighbor Discovery Proxy.
 134   - Configure ProxyND6 feature on interface.
 135   - Test case count: 4
 136 - **DHCP Relay** - CRD for DHCP relay feature.
 137   - Configure DHCP Relays.
 138   - IPv4 and IPv6 variants.
 139   - Test case count: 4
 140 - **SLAAC** - CRD for Stateless Address AutoConfiguration.
 141   - Configure SLAAC feature on interfaces.
 142   - Test case count: 7
 143 - **Routing** - CRD for routing.
 144   - Configure single-hop route.
 145   - Configure multi-hop routes.
 146   - Configure blackhole route.
 147   - IPv4 and IPv6 variants.
 148   - Test case count: 6
 149 - **Policer** - CRD for traffic policing feature.
 150   - Configure Policing rules.
 151   - Assign to interface.
 152   - Test case count: 6
 153 - **Border Gateway Protocol** - CRUD and functional tests for BGP.
 154   - Configure peers and routes
 155   - Check interactions with another BGP peer.
 156   - Test case count: 13
 157 - **Honeycomb Infractructure** - configuration persistence,
 158   - Netconf notifications for interface events,
 159   - Netconf negative tests aimed at specific issues
 160   - Netconf/Restconf northbound over IPv6
 161   - Test case count: 12
 162
 163 Total 219 Honeycomb functional tests in the |csit-release|.
 164
 165 Operational data in Honeycomb should mirror configuration data at all times.
 166 Because of this, test cases follow this general pattern:
 167
 168 #. read operational data of the feature using restconf.
 169 #. read status of the feature using VPP API dump.
 170 #. modify configuration of the feature using restconf.
 171 #. verify changes to operational data using restconf.
 172 #. verify changes using VPP API dump, OR
 173 #. send a packet to VPP node and observe behaviour to verify configuration.
 174
 175 Test cases involving network interfaces utilize the first two interfaces on
 176 the DUT node.
 177
 178 Functional Tests Naming
 179 -----------------------
 180
 181 CSIT-17.01 introduced a common structured naming convention for all
 182 performance and functional tests. This change was driven by substantially
 183 growing number and type of CSIT test cases. Firstly, the original practice did
 184 not always follow any strict naming convention. Secondly test names did not
 185 always clearly capture tested packet encapsulations, and the actual type or
 186 content of the tests. Thirdly HW configurations in terms of NICs, ports and
 187 their locality were not captured either. These were but few reasons that drove
 188 the decision to change and define a new more complete and stricter test naming
 189 convention, and to apply this to all existing and new test cases.
 190
 191 The new naming should be intuitive for majority of the tests. The complete
 192 description of CSIT test naming convention is provided on `CSIT test naming
 193 page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
 194
 195 Here few illustrative examples of the new naming usage for functional test
 196 suites:
 197
 198 #. **Physical port to physical port - a.k.a. NIC-to-NIC, Phy-to-Phy, P2P**
 199
 200    - *eth2p-ethip4-ip4base-func.robot* => 2 ports of Ethernet, IPv4 baseline
 201      routed forwarding, functional tests.
 202
 203 #. **Physical port to VM (or VM chain) to physical port - a.k.a. NIC2VM2NIC,
 204    P2V2P, NIC2VMchain2NIC, P2V2V2P**
 205
 206    - *eth2p-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-func.robot* => 2 ports of
 207      Ethernet, IPv4 VXLAN Ethernet, L2 bridge-domain switching to/from two vhost
 208      interfaces and one VM, functional tests.