docs/report/vpp_functional_tests_virl/csit_release_notes.rst

   1
   2 .. |br| raw:: html
   3
   4     <br />
   5
   6 CSIT Release Notes
   7 ==================
   8
   9 Changes in CSIT |release|
  10 -------------------------
  11
  12 #. Naming change for all VPP functional test suites in VIRL
  13
  14     - VPP functional test case names stayed unchanged
  15
  16 #. VPP functional test environment changes
  17
  18     - upgrade to Ubuntu 16.04
  19     - VM and vhost-user test environment optimizations
  20
  21 #. Introduction of Centos tests
  22
  23 #. Added VPP functional tests
  24
  25     - more VM vhost-user tests
  26     - more LISP tests
  27     - more IPSec crypto tests
  28     - IPv4 and IPv6 Equal-Cost Multi-Path routing tests
  29     - Telemetry:
  30       - IPFIX tests
  31       - SPAN tests
  32
  33 Functional Tests Naming
  34 -----------------------
  35
  36 CSIT |release| introduced a common structured naming convention for all
  37 performance and functional tests. This change was driven by substantially
  38 growing number and type of CSIT test cases. Firstly, the original practice did
  39 not always follow any strict naming convention. Secondly test names did not
  40 always clearly capture tested packet encapsulations, and the actual type or
  41 content of the tests. Thirdly HW configurations in terms of NICs, ports and
  42 their locality were not captured either. These were but few reasons that drove
  43 the decision to change and define a new more complete and stricter test naming
  44 convention, and to apply this to all existing and new test cases.
  45
  46 The new naming should be intuitive for majority of the tests. The complete
  47 description of CSIT test naming convention is provided on `CSIT test naming
  48 page <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
  49
  50 Here few illustrative examples of the new naming usage for functional test
  51 suites:
  52
  53 #. **Physical port to physical port - a.k.a. NIC-to-NIC, Phy-to-Phy, P2P**
  54
  55     - *eth2p-ethip4-ip4base-func.robot* => 2 ports of Ethernet, IPv4 baseline
  56       routed forwarding, functional tests.
  57
  58 #. **Physical port to VM (or VM chain) to physical port - a.k.a. NIC2VM2NIC,
  59    P2V2P, NIC2VMchain2NIC, P2V2V2P**
  60
  61     - *eth2p-ethip4vxlan-l2bdbasemaclrn-eth-2vhost-1vm-func.robot* => 2 ports of
  62       Ethernet, IPv4 VXLAN Ethernet, L2 bridge-domain switching to/from two vhost
  63       interfaces and one VM, functional tests.
  64
  65 Known Issues
  66 ------------
  67
  68 Here is the list of known issues in CSIT |release| for VPP functional tests in VIRL:
  69
  70 +-------------------------------------------------+-----------------------------------------------------------------+
  71 | ISSUE                                           | DESCRIPTION                                                     |
  72 +-------------------------------------------------+-----------------------------------------------------------------+
  73 | DHCPv4 client: Client responses to DHCPv4 OFFER | Client replies with DHCPv4 REQUEST message when received DHCPv4 |
  74 | sent with different XID                         | OFFER message with different (wrong) XID.                       |
  75 +-------------------------------------------------+-----------------------------------------------------------------+
  76 | Softwire - MAP-E: Incorrect calculation of IPv6 | IPv6 destination address is wrongly calculated in case that     |
  77 | destination address when IPv4 prefix is 0       | IPv4 prefix is equal to 0 and IPv6 prefix is less than 40.      |
  78 +-------------------------------------------------+-----------------------------------------------------------------+
  79 | Softwire - MAP-E: Map domain is created when    | Map domain is created in case that the sum of suffix length of  |
  80 | incorrect parameters provided                   | IPv4 prefix and PSID length is greater than EA bits length.     |
  81 |                                                 | IPv6 destination address contains bits writen with PSID over    |
  82 |                                                 | the EA-bit length when IPv4 packet is sent.                     |
  83 +-------------------------------------------------+-----------------------------------------------------------------+
  84 | IPv6 RA: Incorrect IPv6 destination address in  | Wrong IPv6 destination address (ff02::1) is used in ICMPv6      |
  85 | response to ICMPv6 Router Solicitation          | Router Advertisement packet sent as a response to received      |
  86 |                                                 | ICMPv6 Router Solicitation packet.                              |
  87 +-------------------------------------------------+-----------------------------------------------------------------+
  88 | IPFIX: IPv6_src key name reported instead of    | The report contains IPv6_src key name instead of IPv6_dst when  |
  89 | IPv6_dst                                        | classify session is configured with IPv6 destination address.   |
  90 |                                                 | Anyhow the correct IPv6 destination address is reported.        |
  91 +-------------------------------------------------+-----------------------------------------------------------------+
  92 | SPAN: Tx traffic is not mirrored                | Tx traffic is not mirrored from SPAN source port to SPAN        |
  93 |                                                 | destination port. |br|                                          |
  94 |                                                 | NOTE: Fix is going to be merged in vpp stable/1701.             |
  95 +-------------------------------------------------+-----------------------------------------------------------------+
  96 | SPAN: Packet trace always contains local0 as    | There is reported wrong destination port in the traffic trace:  |
  97 | destination port                                | |br|    SPAN: mirrored GigabitEthernet0/5/0 -> local0    |br|   |
  98 |                                                 | The (Rx) traffic is mirrored to correct destination port.       |
  99 +-------------------------------------------------+-----------------------------------------------------------------+