CSIT-1190: Update report configuration for 18.07
[csit.git] / docs / report / vpp_unit_tests / overview.rst
1 Overview
2 ========
3
4 .. note::
5
6     This section includes an abbreviated version of the VPP Test Framework
7     overview maintained within the VPP project. Complete overview can be found
8     in `VPP test framework documentation`_.
9
10 VPP Unit Test Framework
11 -----------------------
12
13 VPP Test Framework is used to ease writing, running and debugging unit tests
14 for the VPP. It is based on python as a high level language to  allow rapid
15 test development. scapy\_ is used as a tool for creating and dissecting
16 packets.
17
18 VPP Test Framework does not send any packets to VPP directly. Traffic is
19 instead injected using VPP packet-generator interfaces. Packets are written
20 into a temporary .pcap file, which is then read by the VPP code with packets
21 getting injected into the VPP processing nodes.
22
23 Similarly, VPP does not send any packets to VPP Test Framework directly.
24 Instead, VPP packet capture feature is used to capture and write packets to a
25 temporary .pcap file, which is then read and analyzed by the VPP Test
26 Framework.
27
28 For complete description of the VPP Test Framework including anatomy of a test
29 case and detailed documentation of existing VPP unit test cases please refer
30 to the `VPP test framework documentation`_
31
32 Unit Tests Coverage
33 -------------------
34
35 Following VPP functional test areas are covered in VPP unit test code included
36 in VPP rls1710 with results listed in this report:
37
38 - ACL Security - stateful and stateless security-groups access-control-lists.
39 - APIs - VAPI, VOM, PAPI, JVPP.
40 - ARP - ARP, proxy ARP, static arp.
41 - BFD - API, Authentication, Authentication Change, CLI.
42 - BFD IPv4 - sessions operation.
43 - BFD IPv6 - sessions operation.
44 - BIER - Bit Indexed Explicit Replication.
45 - Classifier - classification with IP ACL, MAC ACL, IP PBR.
46 - Container Integration - IPv4, IPv6 local-spoof connectivity tests.
47 - CRUD Loopback - create, read, update, delete Loopback interfaces.
48 - DHCP - DHCPv4/v6 Client and Proxy.
49 - Distributed Virtual Router.
50 - DS-Lite Softwire - softwire termination.
51 - FIB - baseline and scale tests.
52 - Flowprobe.
53 - Geneve Tunnels.
54 - GRE Tunnels - GRE IPv4/IPv6 tunnel, L2, VRF tests.
55 - GTPU Tunnels - baseline GTPU tests.
56 - IP Multicast Routing - IPv4/IPv6 multicast replication, connected source check.
57 - IPSec - baseline IPSec sanity tests.
58 - IPv4 FIB CRUD - add/update/delete IPv4 routes.
59 - IPv4 Routing.
60 - IP4 VRF Multi-instance - create, read, update, delete and verify IPv4 VRFs.
61 - IPv6 Routing - baseline FIB operations, NS/RS exception handling.
62 - IP6 VRF Multi-instance - create, read, update, delete and verify IPv6 VRFs.
63 - IRB Integrated Routing-Bridging.
64 - Kube-proxy - data plane NAT tests.
65 - L2 FIB CRUD - add/update/delete L2 MAC entries.
66 - L2BD Multi-instance.
67 - L2BD Switching - L2 Bridge-Domain baseline tests incl. single- and dual-loop.
68 - L2XC Multi-instance - L2 cross-connect multi-instance tests.
69 - L2XC Switching - L2 cross-connect baseline tests incl. single- and dual-loop.
70 - LISP Tunnels - basic LISP tests.
71 - Load Balancer - IP4 GRE4, IP4 GRE6, IP6 GRE4, IP6 GRE6.
72 - MACIP Access Control - ingress access control for IPv4, IPv6 with L2BDP and IP routing.
73 - MAP Softwires - softwire termination.
74 - MFIB Multicast FIB.
75 - MPLS Switching - MPLS baseline, prefix independent convergence for MPLS PE.
76 - NAT44 - NAT44 tests, IPFIX logging, VRF awareness, deterministic CGNAT.
77 - NAT64 - NAT64 static and dynamic translation tests.
78 - P2P Ethernet Subinterface.
79 - PPPoE Encapsulation.
80 - SPAN Switch Port Analyzer - packet mirroring.
81 - SRv6 Routing - Segment Routing IPv6 tests.
82 - TCP/IP Stack - unit tests, builtin client/server transfers.
83 - UDP Stack - unit tests.
84 - VTR VLAN Tag Rewrites - VLAN tag rewrite tests.
85 - VXLAN Tunnels - baseline VXLAN tests including multicast.
86 - VXLAN-GPE Tunnels - baseline VXLAN-GPE tunneling including multicast.
87 - Other Tests - ping, session, template verification, timer tests.