CSIT-744 Update report content for proper parsing
[csit.git] / docs / report / introduction / general_notes.rst
1 General Notes
2 =============
3
4 All CSIT test results listed in this report are sourced and auto-generated
5 from :file:`output.xml` :abbr:`RF (Robot Framework)` files resulting from
6 :abbr:`LF (Linux Foundation)` FD.io Jenkins jobs execution against |vpp-release|
7 release artifacts. References are provided to the original :abbr:`LF (Linux
8 Foundation)` FD.io Jenkins job results. However, as :abbr:`LF (Linux
9 Foundation)` FD.io Jenkins infrastructure does not automatically archive all jobs
10 (history record is provided for the last 30 days or 40 jobs only), additional
11 references are provided to the :abbr:`RF (Robot Framework)` result files that
12 got archived in FD.io nexus online storage system.
13
14 FD.io CSIT project currently covers multiple FD.io system and sub-system
15 testing areas and this is  reflected in this report, where each testing area
16 is listed separately, as follows:
17
18 #. **VPP Performance Tests** - VPP performance tests are executed in physical
19    FD.io testbeds, focusing on VPP network data plane performance at this stage,
20    both for Phy-to-Phy (NIC-to-NIC) and Phy-to-VM-to-Phy (NIC-to-VM-to-NIC)
21    forwarding topologies. Tested across a range of NICs, 10GE and 40GE
22    interfaces, range of multi-thread and multi-core configurations. VPP
23    application runs in host user- mode. TRex is used as a traffic generator.
24
25 #. **DPDK Performance Tests** - VPP is using DPDK code to control and drive
26    the NICs and physical interfaces. Testpmd tests are used as a baseline to
27    profile the DPDK sub-system of VPP. DPDK performance tests executed in
28    physical FD.io testbeds, focusing on Testpmd/L3FWD data plane performance for
29    Phy-to-Phy (NIC-to-NIC). Tests cover a range of NICs, 10GE and 40GE
30    interfaces, range of multi-thread and multi-core configurations.
31    Testpmd/L3FWD application runs in host user-mode. TRex is used as a traffic
32    generator.
33
34 #. **VPP Functional Tests** - VPP functional tests are executed in virtual
35    FD.io testbeds focusing on VPP packet processing functionality, including
36    network data plane and in -line control plane. Tests cover vNIC-to-vNIC
37    vNIC-to-VM-to-vNIC forwarding topologies. Scapy is used as a traffic
38    generator.
39
40 #. **Honeycomb Functional Tests** - Honeycomb functional tests are executed in
41    virtual FD.io testbeds, focusing on Honeycomb management and programming
42    functionality of VPP. Tests cover a range of CRUD operations executed
43    against VPP.
44
45 #. **Honeycomb Performance Tests** - Honeycomb performance tests are executed in
46    physical FD.io testbeds, focusing on the performance of Honeycomb management
47    and programming functionality of VPP. Tests cover a range of CRUD operations
48    executed against VPP.
49
50 #. **NSH_SFC Functional Tests** - NSH_SFC functional tests are executed in
51    virtual FD.io testbeds focusing on NSH_SFC of VPP. Tests cover a range of
52    CRUD operations executed against VPP.
53
54 In addition to above, CSIT |release| report does also include VPP unit test
55 results. VPP unit tests are developed within the FD.io VPP project and as they
56 complement CSIT system functional tests, they are provided mainly as a reference
57 and to provide a more complete view of automated testing executed against
58 |vpp-release|.
59
60 FD.io CSIT system is developed using two main coding platforms :abbr:`RF (Robot
61 Framework)` and Python. CSIT |release| source code for the executed test
62 suites is available in CSIT branch |release| in the directory
63 :file:`./tests/<name_of_the_test_suite>`. A local copy of CSIT source code
64 can be obtained by cloning CSIT git repository - :command:`git clone
65 https://gerrit.fd.io/r/csit`. The CSIT testing virtual environment can be run
66 on a local computer workstation (laptop, server) using Vagrant by following
67 the instructions in `CSIT tutorials
68 <https://wiki.fd.io/view/CSIT#Tutorials>`_.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.