take-2: csit report static content updates for rls1710. 82/9182/2
authorMaciek Konstantynowicz <mkonstan@cisco.com>
Wed, 1 Nov 2017 14:33:12 +0000 (14:33 +0000)
committerPeter Mikus <pmikus@cisco.com>
Thu, 2 Nov 2017 05:47:16 +0000 (05:47 +0000)
Change-Id: I097d62a36473303f9e0c6c06a38a68e077f86b14
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>
docs/report/detailed_test_results/vpp_unittest_results/vpp_unittest_results.rst
docs/report/introduction/general_notes.rst
docs/report/introduction/overview.rst
docs/report/vpp_unit_tests/overview.rst

index 63bcb1e..f20bb98 100644 (file)
@@ -8,14 +8,43 @@ CRUD Loopback
     test_crud (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
     test_down (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
 \r
-Flow-per-packet plugin\r
-``````````````````````\r
+Flowprobe feature\r
+`````````````````\r
 ::\r
 \r
     ==============================================================================\r
-    Flow-per-packet plugin: test both L2 and IP4 reporting\r
+    Re-enable Flowprobe feature\r
     ==============================================================================\r
-    Flow per packet L3 test                                                  OK\r
+    disable flowprobe feature after first packets and re-enable              SKIP\r
+    ==============================================================================\r
+    collect information on Ethernet, IP4 and IP6 datapath (no timers)\r
+    ==============================================================================\r
+    no timers, one CFLOW packet, 9 Flows inside                              OK\r
+    no timers, two CFLOW packets (mtu=256), 3 Flows in each                  OK\r
+    L2 data on IP4 datapath                                                  OK\r
+    L2 data on IP6 datapath                                                  OK\r
+    L2 data on L2 datapath                                                   OK\r
+    L3 data on IP4 datapath                                                  OK\r
+    L3 data on IP6 datapath                                                  OK\r
+    L3 data on L2 datapath                                                   OK\r
+    L4 data on IP4 datapath                                                  OK\r
+    L4 data on IP6 datapath                                                  OK\r
+    L4 data on L2 datapath                                                   OK\r
+    verify templates on IP6 datapath                                         OK\r
+    verify templates on IP4 datapath                                         OK\r
+    verify template on L2 datapath                                           OK\r
+    ==============================================================================\r
+    Disable Flowprobe feature\r
+    ==============================================================================\r
+    disable flowprobe feature after first packets                            SKIP\r
+    ==============================================================================\r
+    Re-enable IPFIX\r
+    ==============================================================================\r
+    disable IPFIX after first packets and re-enable after few packets        SKIP\r
+    ==============================================================================\r
+    Disable IPFIX\r
+    ==============================================================================\r
+    disable IPFIX after first packets                                        SKIP\r
 \r
 DHCP\r
 ````\r
@@ -25,6 +54,7 @@ DHCP
     DHCP Test Case\r
     ==============================================================================\r
     DHCPv6 Proxy                                                             OK\r
+    DHCP Client                                                              OK\r
     DHCPv4 Proxy                                                             OK\r
 \r
 IPv4 VRF Multi-instance\r
@@ -70,8 +100,13 @@ BFD IPv6
     echo function used                                                       SKIP\r
     echo packets looped back                                                 SKIP\r
     hold BFD session up                                                      SKIP\r
+    interface with bfd session deleted                                       SKIP\r
     bring BFD session up                                                     SKIP\r
     bring BFD session up - first frame looked up by address pair             SKIP\r
+    ==============================================================================\r
+    BFD-FIB interactions (IPv6)\r
+    ==============================================================================\r
+    BFD-FIB interactions                                                     SKIP\r
 \r
 BFD authentication\r
 ``````````````````\r
@@ -175,6 +210,8 @@ BFD IPv4
     stale echo packets don't keep a session up                               SKIP\r
     no packets when zero remote required min rx interval                     SKIP\r
 \r
+\r
+\r
 IPv6 Tests\r
 ``````````\r
 ::\r
@@ -184,29 +221,38 @@ IPv6 Tests
     ==============================================================================\r
     IPv6 FIB test                                                            OK\r
     IPv6 Neighbour Solicitation Exceptions                                   OK\r
+    ND Duplicates                                                            OK\r
     IPv6 Router Solicitation Exceptions                                      OK\r
     ==============================================================================\r
     IPv6 disabled\r
     ==============================================================================\r
     IP Disabled                                                              OK\r
-    IPv6 ND Proxy\r
     ==============================================================================\r
     IPv6 ND ProxyTest Case\r
     ==============================================================================\r
     IPv6 Proxy ND                                                            OK\r
     ==============================================================================\r
+    IPv6 Load-Balancing\r
+    ==============================================================================\r
+    IPv6 Load-Balancing                                                      OK\r
+    ==============================================================================\r
     IPv6 routes via NULL\r
     ==============================================================================\r
     IP NULL route                                                            OK\r
 \r
-SPAN Test\r
-`````````\r
+SPAN Tests\r
+``````````\r
 ::\r
 \r
     ==============================================================================\r
     SPAN Test Case\r
     ==============================================================================\r
-    SPAN test                                                                OK\r
+    SPAN device rx mirror test                                               OK\r
+    SPAN l2 tx mirror test                                                   OK\r
+    SPAN l2 rx mirror test                                                   OK\r
+    SPAN l2 rx mirror into gre-subif+vtr                                     OK\r
+    SPAN l2 rx mirror into subif+vtr                                         OK\r
+    SPAN l2 rx mirror into vxlan test                                        OK\r
 \r
 GRE Tests\r
 `````````\r
@@ -215,7 +261,8 @@ GRE Tests
     ==============================================================================\r
     GRE Test Case\r
     ==============================================================================\r
-    GRE tunnel Tests                                                         OK\r
+    GRE IPv4 tunnel Tests                                                    OK\r
+    GRE IPv6 tunnel Tests                                                    OK\r
     GRE tunnel L2 Tests                                                      OK\r
     GRE tunnel VRF Tests                                                     OK\r
 \r
@@ -250,40 +297,79 @@ LISP tests
     ==============================================================================\r
     Test case for basic encapsulation                                        OK\r
 \r
-NAT Test Cases\r
-``````````````\r
+NAT44 Test Cases\r
+````````````````\r
 ::\r
 \r
     ==============================================================================\r
-    SNAT Test Cases\r
+    NAT44 Test Cases\r
     ==============================================================================\r
-    SNAT dynamic translation test                                            OK\r
-    SNAT handling of client packets with TTL=1                               OK\r
-    SNAT handling of error responses to client packets with TTL=2            OK\r
-    SNAT handling of server packets with TTL=1                               OK\r
-    SNAT handling of error responses to server packets with TTL=2            OK\r
-    SNAT hairpinning                                                         OK\r
-    SNAT multiple inside interfaces with overlapping address space           OK\r
-    Acquire SNAT addresses from interface                                    OK\r
+    NAT44 dynamic translation test                                           OK\r
+    NAT44 handling of client packets with TTL=1                              OK\r
+    NAT44 handling of error responses to client packets with TTL=2           OK\r
+    NAT44 handling of server packets with TTL=1                              OK\r
+    NAT44 handling of error responses to server packets with TTL=2           OK\r
+    NAT44 interfaces without configured IP address                           OK\r
+    NAT44 hairpinning - 1:1 NAPT                                             OK\r
+    NAT44 hairpinning - 1:1 NAT                                              OK\r
+    1:1 NAT translate packet with unknown protocol - hairpinning             OK\r
+    NAT44 translate packet with unknown protocol - hairpinning               OK\r
+    NAT44 multiple inside interfaces with overlapping address space          OK\r
+    Acquire NAT44 addresses from interface                                   OK\r
     Static mapping with addresses from interface                             OK\r
-    S-NAT IPFIX logging NAT addresses exhausted                              OK\r
-    S-NAT IPFIX logging NAT44 session created/delted                         OK\r
+    IPFIX logging NAT addresses exhausted                                    OK\r
+    IPFIX logging NAT44 session created/delted                               OK\r
     MAX translations per user - recycle the least recently used              OK\r
-    SNAT multiple inside interfaces (non-overlapping address space)          OK\r
+    NAT44 multiple non-overlapping address space inside interfaces           OK\r
+    NAT44 interface output feature (in2out postrouting)                      OK\r
+    NAT44 interface output feature hairpinning (in2out postrouting)          OK\r
+    NAT44 interface output feature VRF aware (in2out postrouting)            OK\r
     Ping internal host from outside network                                  OK\r
-    Ping SNAT out interface from outside network                             OK\r
-    S-NAT add pool addresses to FIB                                          OK\r
-    SNAT 1:1 NAT initialized from inside network                             OK\r
-    SNAT 1:1 NAT initialized from outside network                            OK\r
-    SNAT 1:1 NAT VRF awareness                                               OK\r
-    SNAT 1:1 NAT with port initialized from inside network                   OK\r
-    SNAT 1:1 NAT with port initialized from outside network                  OK\r
-    S-NAT tenant VRF independent address pool mode                           OK\r
-    S-NAT tenant VRF aware address pool mode                                 OK\r
+    Ping NAT44 out interface from outside network                            OK\r
+    NAT44 add pool addresses to FIB                                          OK\r
+    1:1 NAT initialized from inside network                                  OK\r
+    NAT44 interfaces without configured IP address - 1:1 NAT                 OK\r
+    NAT44 local service load balancing                                       OK\r
+    1:1 NAT initialized from outside network                                 OK\r
+    1:1 NAT translate packet with unknown protocol                           OK\r
+    1:1 NAT VRF awareness                                                    OK\r
+    1:1 NAPT initialized from inside network                                 OK\r
+    NAT44 interfaces without configured IP address - 1:1 NAPT                OK\r
+    1:1 NAPT initialized from outside network                                OK\r
+    NAT44 translate packet with unknown protocol                             OK\r
+    NAT44 tenant VRF independent address pool mode                           OK\r
+    NAT44 tenant VRF aware address pool mode                                 OK\r
     ==============================================================================\r
     Deterministic NAT Test Cases\r
     ==============================================================================\r
-    S-NAT run deterministic mode                                             OK\r
+    Deterministic NAT translation test (TCP, UDP, ICMP)                      OK\r
+    NAT plugin run deterministic mode                                        OK\r
+    Deterministic NAT multiple users                                         OK\r
+    Deterministic NAT maximum sessions per user limit                        SKIP\r
+    Deterministic NAT session timeouts                                       SKIP\r
+    Set deterministic NAT timeouts                                           OK\r
+    Deterministic NAT TCP session close from inside network                  OK\r
+    Deterministic NAT TCP session close from outside network                 OK\r
+\r
+NAT64 Test Cases\r
+````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    NAT64 Test Cases\r
+    ==============================================================================\r
+    NAT64 dynamic translation test                                           OK\r
+    NAT64 hairpinning                                                        OK\r
+    NAT64 translate packet with unknown protocol - hairpinning               OK\r
+    NAT64 ICMP Error message translation                                     OK\r
+    Enable/disable NAT64 feature on the interface                            OK\r
+    Add/delete address to NAT64 pool                                         OK\r
+    NAT64 Network-Specific Prefix                                            OK\r
+    NAT64 session timeout                                                    SKIP\r
+    Set NAT64 timeouts                                                       OK\r
+    NAT64 static translation test                                            OK\r
+    Add/delete static BIB entry                                              OK\r
+    NAT64 translate packet with unknown protocol                             OK\r
 \r
 L2XC Multi-instance\r
 ```````````````````\r
@@ -313,6 +399,18 @@ IPv4 Tests
     IPv4 disabled\r
     ==============================================================================\r
     IP Disabled                                                              OK\r
+    ==============================================================================\r
+    IPv4 Subnets\r
+    ==============================================================================\r
+    IP Sub Nets                                                              OK\r
+    ==============================================================================\r
+    IPv4 VLAN-0\r
+    ==============================================================================\r
+    IP VLAN-0                                                                OK\r
+    ==============================================================================\r
+    IPv4 Load-Balancing\r
+    ==============================================================================\r
+    IP Load-Balancing                                                        OK\r
 \r
 IPv4 FIB CRUD\r
 `````````````\r
@@ -333,8 +431,39 @@ IRB Tests
     ==============================================================================\r
     IRB Test Case\r
     ==============================================================================\r
-    IPv4 IRB test 1                                                          OK\r
-    IPv4 IRB test 2                                                          OK\r
+    ACL plugin prepare                                                       OK\r
+    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL permit+reflect                     OK\r
 \r
 ACL Security Groups\r
 ```````````````````\r
@@ -344,7 +473,7 @@ ACL Security Groups
     ACL plugin Test Case\r
     ==============================================================================\r
     ACL plugin version check; learn MACs                                     OK\r
-    ACL create test                                                          OK\r
+    ACL create/delete test                                                   OK\r
     permit ACL apply test                                                    OK\r
     deny ACL apply test                                                      OK\r
     VPP_624 permit ICMPv4                                                    OK\r
@@ -365,22 +494,75 @@ ACL Security Groups
     deny single TCPv4/v6                                                     OK\r
     deny single UDPv4/v6                                                     OK\r
     deny single UDPv4/v6, permit ip any, verify non-initial fragment blocked OK\r
+    VPP-687 zero length udp ipv4 packet                                      OK\r
+    VPP-687 zero length udp ipv6 packet                                      OK\r
+    permit TCPv4 + non-match range                                           OK\r
+    permit TCPv6 + non-match range                                           OK\r
+    permit UDPv4 + non-match range                                           OK\r
+    permit UDPv6 + non-match range                                           OK\r
+    deny TCPv4/v6 + non-match range                                          OK\r
+    deny UDPv4/v6 + non-match range                                          OK\r
+    ==============================================================================\r
+    ACL plugin connection-oriented extended testcases\r
+    ==============================================================================\r
+    Prepare the settings                                                     SKIP\r
+    IPv4: Basic conn timeout test reflect on ingress                         SKIP\r
+    IPv4: Basic conn timeout test reflect on egress                          SKIP\r
+    IPv4: reflect egress, clear conn                                         SKIP\r
+    IPv4: reflect ingress, clear conn                                        SKIP\r
+    IPv4: Idle conn behind active conn, reflect on ingress                   SKIP\r
+    IPv4: Idle conn behind active conn, reflect on egress                    SKIP\r
+    IPv6: Basic conn timeout test reflect on ingress                         SKIP\r
+    IPv6: Basic conn timeout test reflect on egress                          SKIP\r
+    IPv6: reflect egress, clear conn                                         SKIP\r
+    IPv6: reflect ingress, clear conn                                        SKIP\r
+    IPv6: Idle conn behind active conn, reflect on ingress                   SKIP\r
+    IPv6: Idle conn behind active conn, reflect on egress                    SKIP\r
+    Prepare for TCP session tests                                            SKIP\r
+    IPv4: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
+    IPv4: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
+    IPv4: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
+    IPv4: established TCP session (complete 3WHS), ref. on egress            SKIP\r
+    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
+    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
+    IPv6: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
+    IPv6: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
+    IPv6: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
+    IPv6: established TCP session (complete 3WHS), ref. on egress            SKIP\r
+    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
+    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
 \r
 MPLS Tests\r
 ``````````\r
 ::\r
 \r
+    ==============================================================================\r
+    MPLS-L2\r
+    ==============================================================================\r
+    Virtual Private LAN Service                                              OK\r
+    Virtual Private Wire Service                                             OK\r
     ==============================================================================\r
     MPLS Test Case\r
     ==============================================================================\r
     MPLS Local Label Binding test                                            OK\r
     MPLS Deagg                                                               OK\r
     MPLS label imposition test                                               OK\r
+    MPLS Interface Receive                                                   OK\r
+    MPLS Multicast Head-end                                                  OK\r
+    MPLS IPv4 Multicast Tail                                                 OK\r
+    MPLS IPv6 Multicast Tail                                                 OK\r
+    MPLS Multicast Mid Point                                                 OK\r
     MPLS label swap tests                                                    OK\r
     MPLS Tunnel Tests                                                        OK\r
     MPLS V4 Explicit NULL test                                               OK\r
     MPLS V6 Explicit NULL test                                               OK\r
     ==============================================================================\r
+    MPLS PIC edge convergence\r
+    ==============================================================================\r
+    MPLS eBGP PIC edge convergence                                           OK\r
+    MPLS iBGP PIC edge convergence                                           OK\r
+    MPLSv6 eBGP PIC edge convergence                                         OK\r
+    ==============================================================================\r
     MPLS disabled\r
     ==============================================================================\r
     MPLS Disabled                                                            OK\r
@@ -424,14 +606,16 @@ IP Multicast Tests
     IP Multicast Test Case\r
     ==============================================================================\r
     IPv6 Multicast Replication                                               OK\r
+    IPv6 Multicast Replication in non-default table                          OK\r
     IP Multicast Replication                                                 OK\r
     IP Multicast Connected Source check                                      OK\r
     IP Multicast Signal                                                      OK\r
+    IP Multicast Replication in non-default table                            OK\r
 \r
 Classifier\r
 ``````````\r
 ::\r
-\r
+#######\r
     ==============================================================================\r
     Classifier Test Case\r
     ==============================================================================\r
@@ -439,56 +623,6 @@ Classifier
     MAC ACL test                                                             OK\r
     IP PBR test                                                              OK\r
 \r
-IRB Tests\r
-`````````\r
-::\r
-\r
-    ==============================================================================\r
-    IRB Test Case\r
-    ==============================================================================\r
-    ACL plugin prepare                                                       OK\r
-    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
-    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
-    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
-    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
-    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
-    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
-    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
-    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
-    ACL IPv6 routed -> bridged, L2 ACL permit+reflect                        OK\r
-    ACL IPv6 bridged -> routed, L2 ACL permit+reflect                        OK\r
-    ACL IPv4 routed -> bridged, L2 ACL permit+reflect                        OK\r
-    ACL IPv4 bridged -> routed, L2 ACL permit+reflect                        OK\r
-    ACL IPv6 routed -> bridged, L3 ACL permit+reflect                        OK\r
-    ACL IPv6 bridged -> routed, L3 ACL permit+reflect                        OK\r
-    ACL IPv4 routed -> bridged, L3 ACL permit+reflect                        OK\r
-    ACL IPv4 bridged -> routed, L3 ACL permit+reflect                        OK\r
-    ACL IPv6+EH routed -> bridged, L2 ACL deny                               OK\r
-    ACL IPv6+EH routed -> bridged, L3 ACL deny                               OK\r
-    ACL IPv6+EH bridged -> routed, L2 ACL deny                               OK\r
-    ACL IPv6+EH bridged -> routed, L3 ACL deny                               OK\r
-    ACL IPv6+EH routed -> bridged, L2 ACL permit+reflect                     OK\r
-    ACL IPv6+EH bridged -> routed, L2 ACL permit+reflect                     OK\r
-    ACL IPv6+EH routed -> bridged, L3 ACL permit+reflect                     OK\r
-    ACL IPv6+EH bridged -> routed, L3 ACL permit+reflect                     OK\r
-    ACL IPv4+MF routed -> bridged, L2 ACL deny                               OK\r
-    ACL IPv4+MF routed -> bridged, L3 ACL deny                               OK\r
-    ACL IPv4+MF bridged -> routed, L2 ACL deny                               OK\r
-    ACL IPv4+MF bridged -> routed, L3 ACL deny                               OK\r
-    ACL IPv4+MF routed -> bridged, L2 ACL permit+reflect                     OK\r
-    ACL IPv4+MF bridged -> routed, L2 ACL permit+reflect                     OK\r
-    ACL IPv4+MF routed -> bridged, L3 ACL permit+reflect                     OK\r
-    ACL IPv4+MF bridged -> routed, L3 ACL permit+reflect                     OK\r
-    ACL plugin set old L2 datapath                                           OK\r
-    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
-    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
-    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
-    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
-    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
-    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
-    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
-    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
-\r
 VXLAN Tests\r
 ```````````\r
 ::\r
@@ -502,6 +636,19 @@ VXLAN Tests
     Multicast receive test                                                   OK\r
     Unicast flood test                                                       OK\r
 \r
+VXLAN-GPE Tests\r
+```````````\r
+::\r
+\r
+    ==============================================================================\r
+    VXLAN-GPE Test Case\r
+    ==============================================================================\r
+    Decapsulation test                                                       SKIP\r
+    Encapsulation test                                                       SKIP\r
+    Multicast flood test                                                     SKIP\r
+    Multicast receive test                                                   SKIP\r
+    Unicast flood test                                                       SKIP\r
+\r
 L2 FIB CRUD\r
 ```````````\r
 ::\r
@@ -513,6 +660,11 @@ L2 FIB CRUD
     L2 FIB test 2 - delete 12 MAC entries                                    OK\r
     L2 FIB test 3 - program new 100 MAC addresses                            OK\r
     L2 FIB test 4 - delete 160 MAC entries                                   OK\r
+    L2 FIB test 5 - Program 10 new MAC entries, learn 10                     OK\r
+    L2 FIB test 6 - flush first interface                                    OK\r
+    L2 FIB test 7 - flush bd_id                                              OK\r
+    L2 FIB test 8 - flush all                                                OK\r
+    L2 FIB test 9 - mac learning events                                      OK\r
 \r
 ARP Tests\r
 `````````\r
@@ -534,3 +686,231 @@ L2BD Tests
     ==============================================================================\r
     L2BD MAC learning dual-loop test                                         OK\r
     L2BD MAC learning single-loop test                                       OK\r
+\r
+MACIP Access Control Tests\r
+``````````\r
+::\r
+\r
+    ==============================================================================\r
+    MACIP Test Case\r
+    ==============================================================================\r
+    IP4 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
+    MACIP 10 ACLs each with 100+ entries                                     OK\r
+    MACIP 10 ACLs each with 100+ entries with IP4 traffic                    OK\r
+    MACIP 10 ACLs each with 100+ entries with IP6 traffic                    OK\r
+    MACIP ACL with 10 entries                                                OK\r
+    MACIP ACL with 100 entries                                               OK\r
+    MACIP ACL with 2 entries                                                 OK\r
+    MACIP ACL with 20 entries                                                OK\r
+    MACIP ACL with 5 entries                                                 OK\r
+    MACIP ACL with 50 entries                                                OK\r
+    MACIP 2 ACLs each with 100+ entries                                      OK\r
+    IP4 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
+    IP4 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
+    IP4 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
+    IP4 MACIP ouiMAC|exactIP ACL bridged traffic                             OK\r
+    IP4 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
+    IP4 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
+    IP4 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
+    IP4 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
+    IP6 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
+    IP6 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
+    IP6 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
+    IP6 MACIP oui_MAC|exactIP ACL bridged traffic                            OK\r
+    IP6 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
+    IP6 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
+    IP6 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
+    IP6 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
+    IP6 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
+    MACIP replace ACL                                                        OK\r
+    MACIP replace ACL with IP4 traffic                                       OK\r
+    MACIP replace ACL with IP6 traffic                                       OK\r
+    IP4 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
+    IP4 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
+    IP4 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
+    IP4 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
+    IP4 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
+    IP4 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
+    IP4 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
+    IP4 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
+    IP4 MACIP wildcardMAC|wildIP ACL                                         OK\r
+    IP6 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
+    IP6 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
+    IP6 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
+    IP6 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
+    IP6 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
+    IP6 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
+    IP6 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
+    IP6 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
+    IP6 MACIP wildcardMAC|wildIP ACL                                         OK\r
+    MACIP ACL delete intf with acl                                           OK\r
+\r
+SRv6 Tests\r
+``````````\r
+::\r
+\r
+    ==============================================================================\r
+    SRv6 Test Case\r
+    ==============================================================================\r
+    Test SRv6 End (without PSP) behavior.                                    OK\r
+    Test SRv6 End.DT4 behavior.                                              OK\r
+    Test SRv6 End.DT6 behavior.                                              OK\r
+    Test SRv6 End.DX2 behavior.                                              OK\r
+    Test SRv6 End.DX4 behavior.                                              OK\r
+    Test SRv6 End.DX6 behavior.                                              OK\r
+    Test SRv6 End.X (without PSP) behavior.                                  OK\r
+    Test SRv6 End.X with PSP behavior.                                       OK\r
+    Test SRv6 End with PSP behavior.                                         OK\r
+    Test SRv6 Transit.Encaps behavior for IPv6.                              OK\r
+    Test SRv6 Transit.Encaps behavior for IPv4.                              OK\r
+    Test SRv6 Transit.Encaps behavior for L2.                                SKIP\r
+    Test SRv6 Transit.Insert behavior (IPv6 only).                           OK\r
+\r
+PPPoE Tests\r
+```````````\r
+::\r
+\r
+    ==============================================================================\r
+    PPPoE Test Case\r
+    ==============================================================================\r
+    PPPoE Add Same Session Twice Test                                        OK\r
+    PPPoE Decap Test                                                         OK\r
+    PPPoE Decap Multiple Sessions Test                                       OK\r
+    PPPoE Delete Same Session Twice Test                                     OK\r
+    PPPoE Encap Test                                                         OK\r
+    PPPoE Encap Multiple Sessions Test                                       OK\r
+\r
+VTR VLAN Tag Rewrite Tests\r
+``````````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    VTR Test Case\r
+    ==============================================================================\r
+    1AD VTR pop 1 test                                                       OK\r
+    1AD VTR pop 2 test                                                       OK\r
+    1AD VTR push 1 1AD test                                                  OK\r
+    1AD VTR push 1 1Q test                                                   OK\r
+    1AD VTR push 2 1AD test                                                  OK\r
+    1AD VTR push 2 1Q test                                                   OK\r
+    1AD VTR translate 1 -> 1 1AD test                                        OK\r
+    1AD VTR translate 1 -> 1 1Q test                                         OK\r
+    1AD VTR translate 1 -> 2 1AD test                                        OK\r
+    1AD VTR translate 1 -> 2 1Q test                                         OK\r
+    1AD VTR translate 2 -> 1 1AD test                                        OK\r
+    1AD VTR translate 2 -> 1 1Q test                                         OK\r
+    1AD VTR translate 2 -> 2 1AD test                                        OK\r
+    1AD VTR translate 2 -> 2 1Q test                                         OK\r
+    1Q VTR pop 1 test                                                        OK\r
+    1Q VTR push 1 test                                                       OK\r
+    1Q VTR push 2 test                                                       OK\r
+    1Q VTR translate 1 -> 1 test                                             OK\r
+    1Q VTR translate 1 -> 2 test                                             OK\r
+\r
+ARP Tests\r
+`````````\r
+::\r
+\r
+    ==============================================================================\r
+    ARP Test Case\r
+    ==============================================================================\r
+    ARP                                                                      OK\r
+    ARP Duplicates                                                           OK\r
+    ARP Static                                                               OK\r
+    ARP reply with VRRP virtual src hw addr                                  OK\r
+    MPLS                                                                     OK\r
+    Proxy ARP                                                                OK\r
+    Interface Mirror Proxy ARP                                               OK\r
+    ==============================================================================\r
+    L2BD arp termination Test Case\r
+    ==============================================================================\r
+    L2BD arp term - add 5 hosts, verify arp responses                        OK\r
+    L2BD arp term - delete 3 hosts, verify arp responses                     OK\r
+    L2BD arp term - recreate BD1, readd 3 hosts, verify arp responses        OK\r
+    L2BD arp term - 2 IP4 addrs per host                                     OK\r
+    L2BD arp term - create and update 10 IP4-mac pairs                       OK\r
+    L2BD arp/ND term - hosts with both ip4/ip6                               OK\r
+    L2BD ND term - Add and Del hosts, verify ND replies                      OK\r
+    L2BD ND term - Add and update IP+mac, verify ND replies                  OK\r
+    L2BD arp term - send garps, verify arp event reports                     OK\r
+    L2BD arp term - send duplicate garps, verify suppression                 OK\r
+    L2BD arp term - disable ip4 arp events,send garps, verify no events      OK\r
+    L2BD ND term - send NS packets verify reports                            OK\r
+    L2BD ND term - send duplicate ns, verify suppression                     OK\r
+    L2BD ND term - disable ip4 arp events,send ns, verify no events          OK\r
+\r
+P2P Ethernet Subinterface ests\r
+``````````````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    P2P Ethernet tests\r
+    ==============================================================================\r
+    delete/create p2p subif                                                  OK\r
+    create 100k of p2p subifs                                                SKIP\r
+    create 1k of p2p subifs                                                  OK\r
+    ==============================================================================\r
+    P2P Ethernet IPv4 tests\r
+    ==============================================================================\r
+    receive ipv4 packet via p2p subinterface                                 OK\r
+    route rx packet not matching p2p subinterface                            OK\r
+    send ip4 packet via p2p subinterface                                     OK\r
+    drop tx ip4 packet not matching p2p subinterface                         OK\r
+    ==============================================================================\r
+    P2P Ethernet IPv6 tests\r
+    ==============================================================================\r
+    receive ipv6 packet via p2p subinterface                                 OK\r
+    drop rx packet not matching p2p subinterface                             OK\r
+    route rx ip6 packet not matching p2p subinterface                        OK\r
+    send packet via p2p subinterface                                         OK\r
+    drop tx ip6 packet not matching p2p subinterface                         OK\r
+    standard routing without p2p subinterfaces                               OK\r
+\r
+GTPU Test Case\r
+``````````````\r
+::\r
+\r
+    ==============================================================================\r
+    GTPU Test Case\r
+    ==============================================================================\r
+    Decapsulation test                                                       OK\r
+    Encapsulation test                                                       OK\r
+    Multicast flood test                                                     OK\r
+    Multicast receive test                                                   OK\r
+    Unicast flood test                                                       OK\r
+\r
+Other Tests\r
+```````````\r
+::\r
+\r
+    ==============================================================================\r
+    VAPI test\r
+    ==============================================================================\r
+    run C VAPI tests                                                         SKIP\r
+    run C++ VAPI tests                                                       SKIP\r
+    ==============================================================================\r
+    Ping Test Case\r
+    ==============================================================================\r
+    basic ping test                                                          OK\r
+    burst ping test                                                          OK\r
+    ==============================================================================\r
+    Template verification, timer tests\r
+    ==============================================================================\r
+    timer less than template timeout                                         OK\r
+    timer greater than template timeout                                      OK\r
+    verify cflow packet fields                                               OK\r
+    ==============================================================================\r
+    JVPP Core Test Case\r
+    ==============================================================================\r
+    JVPP Acl Callback Api Test Case                                          OK\r
+    JVPP Acl Future Api Test Case                                            OK\r
+    JVPP Core Callback Api Test Case                                         OK\r
+    JVPP Core Future Api Test Case                                           OK\r
+    JVPP Ioamexport Callback Api Test Case                                   OK\r
+    JVPP Ioamexport Future Api Test Case                                     OK\r
+    JVPP Ioampot Callback Api Test Case                                      OK\r
+    JVPP Ioampot Future Api Test Case                                        OK\r
+    JVPP Ioamtrace Callback Api Test Case                                    OK\r
+    JVPP Ioamtrace Future Api Test Case                                      OK\r
+    JVPP Snat Callback Api Test Case                                         OK\r
+    JVPP Snat Future Api Test Case                                           OK
\ No newline at end of file
index 0ddeb6a..461e186 100644 (file)
@@ -15,32 +15,33 @@ FD.io CSIT project currently covers multiple FD.io system and sub-system
 testing areas and this is reflected in this report, where each testing area
 is listed separately, as follows:
 
-#. **VPP Performance Tests** - VPP performance tests are executed in physical
+#. **VPP - Performance** - VPP benchmarking tests are executed in physical
    FD.io testbeds, focusing on VPP network data plane performance at this stage,
    both for Phy-to-Phy (NIC-to-NIC) and Phy-to-VM-to-Phy (NIC-to-VM-to-NIC)
    forwarding topologies. Tested across a range of NICs, 10GE and 40GE
    interfaces, range of multi-thread and multi-core configurations. VPP
    application runs in host user-mode. TRex is used as a traffic generator.
 
-#. **Container memif connections** -  VPP memif virtual interface (shared memory
-   interface) tests to interconnect VPP instances. VPP vswitch instance runs in
-   bare-metal user-mode handling Intel x520 NIC 10GbE interfaces and connecting
-   over memif (Master side) virtual interfaces to more instances of VPP running
-   in LXC or in Docker Containers, both with memif virtual interfaces (Slave
-   side). Tested across a range of NICs, 10GE and 40GE interfaces, range of
-   multi-thread and multi-core configurations. VPP application runs in host
-   user-mode. TRex is used as a traffic generator.
+#. **LXC and Docker Containers VPP memif - Performance** - VPP memif
+   virtual interface tests interconnect multiple VPP instances running in
+   containers. VPP vswitch instance runs in bare-metal user-mode
+   handling Intel x520 NIC 10GbE interfaces and connecting over memif
+   (Master side) virtual interfaces to more instances of VPP running in
+   LXC or in Docker Containers, both with memif virtual interfaces (Slave
+   side). Tested across a range of multi-thread and multi-core
+   configurations. TRex is used as a traffic generator.
 
-#. **Container Orchestrated Performance Tests** - CSIT |release| introduced new
-   tests of Container topologies connected over the memif virtual interface
-   (shared memory interface). For these tests VPP vswitch instance runs in a
-   Docker Container handling Intel x520 NIC 10GbE interfaces and connecting over
-   memif (Master side) virtual interfaces to more instances of VPP running in
-   Docker Containers with memif virtual interfaces (Slave side). Tested across a
-   range of multi-thread and multi-core configurations. VPP application runs in
-   host user-mode. TRex is used as a traffic generator.
+#. **Container Topologies Orchestrated by K8s - Performance** - CSIT
+   |release| introduced new tests of Container topologies connected over
+   the memif virtual interface (shared memory interface). For these tests
+   VPP vswitch instance runs in a Docker Container handling Intel x520 NIC
+   10GbE interfaces and connecting over memif (Master side) virtual
+   interfaces to more instances of VPP running in Docker Containers with
+   memif virtual interfaces (Slave side). All containers are orchestrated
+   by Kubernetes, with Ligato for container networking. TRex is used as a
+   traffic generator.
 
-#. **DPDK Performance Tests** - VPP is using DPDK code to control and drive
+#. **DPDK Performance** - VPP is using DPDK code to control and drive
    the NICs and physical interfaces. Testpmd tests are used as a baseline to
    profile the DPDK sub-system of VPP. DPDK performance tests executed in
    physical FD.io testbeds, focusing on Testpmd/L3FWD data plane performance for
@@ -49,23 +50,23 @@ is listed separately, as follows:
    Testpmd/L3FWD application runs in host user-mode. TRex is used as a traffic
    generator.
 
-#. **VPP Functional Tests** - VPP functional tests are executed in virtual
+#. **Honeycomb Performance** - Honeycomb performance tests are executed in
+   physical FD.io testbeds, focusing on the performance of Honeycomb management
+   and programming functionality of VPP. Tests cover a range of CRUD operations
+   executed against VPP.
+
+#. **VPP Functional** - VPP functional tests are executed in virtual
    FD.io testbeds focusing on VPP packet processing functionality, including
    network data plane and in -line control plane. Tests cover vNIC-to-vNIC
    vNIC-to-VM-to-vNIC forwarding topologies. Scapy is used as a traffic
    generator.
 
-#. **Honeycomb Functional Tests** - Honeycomb functional tests are executed in
+#. **Honeycomb Functional** - Honeycomb functional tests are executed in
    virtual FD.io testbeds, focusing on Honeycomb management and programming
    functionality of VPP. Tests cover a range of CRUD operations executed
    against VPP.
 
-#. **Honeycomb Performance Tests** - Honeycomb performance tests are executed in
-   physical FD.io testbeds, focusing on the performance of Honeycomb management
-   and programming functionality of VPP. Tests cover a range of CRUD operations
-   executed against VPP.
-
-#. **NSH_SFC Functional Tests** - NSH_SFC functional tests are executed in
+#. **NSH_SFC Functional** - NSH_SFC functional tests are executed in
    virtual FD.io testbeds focusing on NSH_SFC of VPP. Tests cover a range of
    CRUD operations executed against VPP.
 
index 536d5d3..22bc29f 100644 (file)
@@ -44,6 +44,13 @@ CSIT |release| report contains following main sections and sub-sections:
    executions; *Test Environment* - environment description; *Documentation* -
    CSIT source code documentation for DPDK performance tests.
 
+#. **Honeycomb Performance Tests** - Honeycomb performance tests executed in
+   physical FD.io testbeds; *Overview* - tested topologies, test coverage
+   and naming specifics; *CSIT Release Notes* - changes in CSIT |release|,
+   added tests, environment or methodology changes, known CSIT issues;
+   *Test Environment* - environment description; *Documentation* - source
+   code documentation for Honeycomb performance tests.
+
 #. **VPP Functional Tests** - VPP functional tests executed in virtual
    FD.io testbeds; *Overview* - tested virtual topologies, test coverage and
    naming specifics; *CSIT Release Notes* - changes in CSIT |release|, added
index cc32ee4..90c582c 100644 (file)
@@ -33,40 +33,42 @@ Unit Tests Coverage
 -------------------\r
 \r
 Following VPP functional test areas are covered in VPP unit test code included\r
-in VPP rls1704 with results listed in this report:\r
+in VPP rls1710 with results listed in this report:\r
 \r
+- ARP - ARP, Proxy ARP.\r
+- ACL plugin - stateful and stateless security-groups access-control-lists.\r
+- BFD IPv4 - Bidirectional Forwarding Detection - baseline, APIs, authorization, authentication.\r
+- BFD IPv6 - Bidirectional Forwarding Detection - baseline, APIs, authorization, authentication.\r
+- Classifier - classification with IP ACL, MAC ACL, IP PBR.\r
 - CRUD Loopback - create, read, update, delete Loopback interfaces.\r
-- Flow-per-packet plugin - collect and report L2 and IP4 flow statistics.\r
+- Deterministic NAT - Carrier Grade NAT tests.\r
 - DHCP - DHCPv4 and DHCPv6 Proxy.\r
+- FIB - baseline and scale tests.\r
+- Flow-per-packet plugin - collect and report L2 and IP4 flow statistics.\r
+- Flowprobe tests.\r
+- GRE - GRE IPv4/IPv6 tunnel, L2, VRF tests.\r
+- GTPU - baseline GTPU tests.\r
+- IP Multicast - IPv4/IPv6 multicast replication, connected source check.\r
 - IP4 VRF Multi-instance - create, read, update, delete and verify IPv4 VRFs.\r
-- Load Balancer - IP4 GRE4, IP4 GRE6, IP6 GRE4, IP6 GRE6.\r
-- FIB Unit Tests.\r
-- Bidirectional Forwarding Detection (BFD) IPv4 - baseline BFD session operation.\r
-- Bidirectional Forwarding Detection (BFD) IPv6 - baseline BFD session operation.\r
-- Bidirectional Forwarding Detection (BFD) - API tests.\r
-- Bidirectional Forwarding Detection (BFD) - changing authorization.\r
-- Bidirectional Forwarding Detection (BFD) - SHA1 authentication.\r
-- IPv6 Tests - baseline FIB operations, NS/RS exception handling.\r
-- SPAN Test - Switched Port Analyzer packet mirroring.\r
-- GRE Tests - GRE tunnel tests.\r
-- SNAT Test Cases - SNAT44 tests.\r
-- Deterministic NAT Test Cases - Carrier Grade NAT tests.\r
-- NAT64 Test Cases - NAT64 static and dynamic translation tests.\r
-- L2XC Multi-instance - L2 cross-connect multi-instance tests.\r
-- IPv4 Tests - baseline FIB tests.\r
+- IP6 VRF Multi-instance - create, read, update, delete and verify IPv6 VRFs.\r
+- IPv4 - baseline FIB tests.\r
 - IPv4 FIB CRUD - add/update/delete IPv4 routes.\r
-- IRB Tests - Integrated Routing and Bridging tests.\r
-- ACL plugin - stateful and stateless security-groups access-control-lists.\r
-- MPLS Tests - MPLS baseline tests.\r
+- IPv6 - baseline FIB operations, NS/RS exception handling.\r
+- IRB - Integrated Routing and Bridging tests.\r
+- L2 FIB CRUD - add/update/delete L2 MAC entries.\r
+- L2BD - L2 Bridge-Domain baseline tests incl. single- and dual-loop.\r
+- L2XC - L2 cross-connect baseline tests incl. single- and dual-loop.\r
+- L2XC Multi-instance - L2 cross-connect multi-instance tests.\r
+- LISP - basic LISP tests.\r
+- Load Balancer - IP4 GRE4, IP4 GRE6, IP6 GRE4, IP6 GRE6.\r
+- MACIP - ingress access control for IPv4, IPv6 with L2BDP and IP routing.\r
+- MFIB Unit.\r
+- MPLS - MPLS baseline tests.\r
 - MPLS PIC edge convergence - prefix independent convergence tests for MPLS PE.\r
-- L2XC Tests - L2 cross-connect baseline tests incl. single- and dual-loop.\r
-- MFIB Unit Tests.\r
-- IP Multicast Tests - IPv4/IPv6 multicast replication, connected source check.\r
-- Classifier - classification with IP ACL, MAC ACL, IP PBR.\r
-- VXLAN Tests - baseline VXLAN tunneling.\r
-- VXLAN-GPE Test Cases - baseline VXLAN-GPE tunneling tests including multicast.\r
+- NAT44 - NAT44 tests, IPFIX logging, VRF awareness.\r
+- NAT64 - NAT64 static and dynamic translation tests.\r
+- SPAN - Switched Port Analyzer packet mirroring.\r
+- SRv6 - Segment Routing IPv6 tests.\r
 - VTR Test Case - VLAN tag manipulation tests.\r
-- L2 FIB CRUD - add/update/delete L2 MAC entries.\r
-- L2BD Tests - L2 Bridge-Domain baseline tests incl. single- and dual-loop.\r
-- Flowprobe tests.\r
-- GTPU Test Cases - baseline GTPU tests.\r
+- VXLAN - baseline VXLAN tunneling.\r
+- VXLAN-GPE - baseline VXLAN-GPE tunneling tests including multicast.\r