docs/content/overview/csit/test_scenarios.md

   1 ---
   2 title: "Test Scenarios"
   3 weight: 2
   4 ---
   5
   6 # Test Scenarios
   7
   8 FD.io CSIT Dashboard includes multiple test scenarios of VPP
   9 centric applications, topologies and use cases. In addition it also
  10 covers baseline tests of DPDK sample applications. Tests are executed in
  11 physical (performance tests) and virtual environments (functional
  12 tests).
  13
  14 Brief overview of test scenarios covered in this documentation:
  15
  16 1. **VPP Performance**: VPP performance tests are executed in physical
  17    FD.io testbeds, focusing on VPP network data plane performance in
  18    NIC-to-NIC switching topologies. VPP application runs in
  19    bare-metal host user-mode handling NICs. TRex is used as a traffic generator.
  20
  21 2. **VPP Vhostuser Performance with KVM VMs**: VPP VM service switching
  22    performance tests using vhostuser virtual interface for
  23    interconnecting multiple NF-in-VM instances. VPP vswitch
  24    instance runs in bare-metal user-mode handling NICs and connecting
  25    over vhost-user interfaces to VM instances each running VPP with virtio
  26    virtual interfaces. Similarly to VPP Performance, tests are run across a
  27    range of configurations. TRex is used as a traffic generator.
  28
  29 3. **VPP Memif Performance with LXC and Docker Containers**: VPP
  30    Container service switching performance tests using memif virtual
  31    interface for interconnecting multiple VPP-in-container instances.
  32    VPP vswitch instance runs in bare-metal user-mode handling NICs and
  33    connecting over memif (Slave side) interfaces to more instances of
  34    VPP running in LXC or in Docker Containers, both with memif
  35    interfaces (Master side). Similarly to VPP Performance, tests are
  36    run across a range of configurations. TRex is used as a traffic
  37    generator.
  38
  39 4. **DPDK Performance**: VPP uses DPDK to drive the NICs and physical
  40    interfaces. DPDK performance tests are used as a baseline to
  41    profile performance of the DPDK sub-system. Two DPDK applications
  42    are tested: Testpmd and L3fwd. DPDK tests are executed in the same
  43    testing environment as VPP tests. DPDK Testpmd and L3fwd
  44    applications run in host user-mode. TRex is used as a traffic
  45    generator.
  46
  47 5. **T-Rex Performance**: T-Rex perfomance tests are executed in physical
  48    FD.io testbeds, focusing on T-Rex data plane performance in NIC-to-NIC
  49    loopback topologies.
  50
  51 6. **VPP Functional**: VPP functional tests are executed in virtual
  52    FD.io testbeds, focusing on VPP packet processing functionality,
  53    including both network data plane and in-line control plane. Tests
  54    cover vNIC-to-vNIC vNIC-to-nestedVM-to-vNIC forwarding topologies.
  55    Scapy is used as a traffic generator.
  56
  57 All CSIT test data included in this report is auto-generated from Robot
  58 Framework json output files produced by Linux Foundation FD.io Jenkins jobs
  59 executed against {{< release_vpp >}} artifacts.
  60
  61 FD.io CSIT system is developed using two main coding platforms: Robot
  62 Framework and Python. {{< release_csit >}} source code for the executed test
  63 suites is available in corresponding CSIT branch in the directory
  64 `./tests/<name_of_the_test_suite>`. A local copy of CSIT source code
  65 can be obtained by cloning CSIT git repository - `git clone
  66 https://gerrit.fd.io/r/csit`.