update to csti rls1704 report: vpp_unittest_results.rst 76/6476/3
authorMaciek Konstantynowicz <mkonstan@cisco.com>
Wed, 26 Apr 2017 20:43:00 +0000 (21:43 +0100)
committerMaciek Konstantynowicz <mkonstan@cisco.com>
Wed, 26 Apr 2017 20:51:09 +0000 (21:51 +0100)
Change-Id: I3af10e3caeaa4150b35a118899e233e33877c673
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>
docs/report/detailed_test_results/vpp_unittest_results/vpp_unittest_results.rst

index 4a56b07..63bcb1e 100644 (file)
@@ -27,8 +27,8 @@ DHCP
     DHCPv6 Proxy                                                             OK\r
     DHCPv4 Proxy                                                             OK\r
 \r
-IP4 VRF Multi-instance\r
-``````````````````````\r
+IPv4 VRF Multi-instance\r
+```````````````````````\r
 ::\r
 \r
     ==============================================================================\r
@@ -51,22 +51,14 @@ Load Balancer
     Load Balancer IP6 GRE4                                                   OK\r
     Load Balancer IP6 GRE6                                                   OK\r
 \r
-BFD IPv4\r
-````````\r
-\r
+FIB Tests\r
+`````````\r
 ::\r
 \r
     ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD)\r
+    FIB Test Case\r
     ==============================================================================\r
-    verify session goes down after inactivity                                OK\r
-    hold BFD session up                                                      OK\r
-    immediately honor remote min rx reduction                                OK\r
-    large remote RequiredMinRxInterval                                       OK\r
-    bring BFD session down                                                   OK\r
-    bring BFD session up                                                     OK\r
-    verify slow periodic control frames while session down                   OK\r
-    no packets when zero BFD RemoteMinRxInterval                             OK\r
+    FIB Unit Tests                                                           OK\r
 \r
 BFD IPv6\r
 ````````\r
@@ -75,57 +67,113 @@ BFD IPv6
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) (IPv6)\r
     ==============================================================================\r
-    hold BFD session up                                                      OK\r
-    bring BFD session up                                                     OK\r
+    echo function used                                                       SKIP\r
+    echo packets looped back                                                 SKIP\r
+    hold BFD session up                                                      SKIP\r
+    bring BFD session up                                                     SKIP\r
+    bring BFD session up - first frame looked up by address pair             SKIP\r
 \r
-BFD API tests\r
-`````````````\r
+BFD authentication\r
+``````````````````\r
 ::\r
 \r
     ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD) - API\r
+    Bidirectional Forwarding Detection (BFD) (SHA1 auth)\r
     ==============================================================================\r
-    activate SHA1 authentication                                             OK\r
-    create BFD session using non-existent SHA1 (negative case)               OK\r
-    create a BFD session                                                     OK\r
-    create IPv6 BFD session                                                  OK\r
-    create a BFD session (SHA1)                                              OK\r
-    add SHA1 keys                                                            OK\r
-    test_change_key (test_bfd.BFDAPITestCase)                                OK\r
-    deactivate SHA1 authentication                                           OK\r
-    create the same BFD session twice (negative case)                        OK\r
-    create the same BFD session twice (negative case) (SHA1)                 OK\r
-    share single SHA1 key between multiple BFD sessions                      OK\r
+    hold BFD session up                                                      SKIP\r
+    hold BFD session up - meticulous auth                                    SKIP\r
+    session is not brought down by unauthenticated msg                       SKIP\r
+    session is not brought down by msg with non-existent key-id              SKIP\r
+    session is not brought down by msg with wrong auth type                  SKIP\r
+    simulate remote peer restart and resynchronization                       SKIP\r
+    session is not kept alive by msgs with bad sequence numbers              SKIP\r
+    bring BFD session up                                                     SKIP\r
 \r
-BFD authorization\r
-`````````````````\r
+BFD CLI\r
+````````\r
+::\r
+\r
+    ==============================================================================\r
+    Bidirectional Forwarding Detection (BFD) (CLI)\r
+    ==============================================================================\r
+    create/modify/delete IPv4 BFD UDP session                                SKIP\r
+    create/modify/delete IPv6 BFD UDP session                                SKIP\r
+    create/modify/delete IPv6 BFD UDP session (authenticated)                SKIP\r
+    create/modify/delete IPv4 BFD UDP session (authenticated)                SKIP\r
+    put session admin-up and admin-down                                      SKIP\r
+    turn authentication on and off                                           SKIP\r
+    turn authentication on and off (delayed)                                 SKIP\r
+    set/delete meticulous SHA1 auth key                                      SKIP\r
+    set/delete SHA1 auth key                                                 SKIP\r
+    set/del udp echo source                                                  SKIP\r
+    show commands                                                            SKIP\r
+\r
+BFD API\r
+````````\r
+::\r
+\r
+    ==============================================================================\r
+    Bidirectional Forwarding Detection (BFD) - API\r
+    ==============================================================================\r
+    activate SHA1 authentication                                             SKIP\r
+    create BFD session using non-existent SHA1 (negative case)               SKIP\r
+    create a BFD session                                                     SKIP\r
+    create IPv6 BFD session                                                  SKIP\r
+    create a BFD session (SHA1)                                              SKIP\r
+    add SHA1 keys                                                            SKIP\r
+    change SHA1 key                                                          SKIP\r
+    deactivate SHA1 authentication                                           SKIP\r
+    create the same BFD session twice (negative case)                        SKIP\r
+    create the same BFD session twice (negative case) (SHA1)                 SKIP\r
+    modify BFD session parameters                                            SKIP\r
+    share single SHA1 key between multiple BFD sessions                      SKIP\r
+\r
+BFD authentication change\r
+`````````````````````````\r
 ::\r
 \r
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) (changing auth)\r
     ==============================================================================\r
-    change auth key without disturbing session state (delayed)               OK\r
-    change auth key without disturbing session state (immediate)             OK\r
-    turn auth off without disturbing session state (delayed)                 OK\r
-    turn auth off without disturbing session state (immediate)               OK\r
-    turn auth on without disturbing session state (delayed)                  OK\r
-    turn auth on without disturbing session state (immediate)                OK\r
+    change auth key without disturbing session state (delayed)               SKIP\r
+    change auth key without disturbing session state (immediate)             SKIP\r
+    turn auth off without disturbing session state (delayed)                 SKIP\r
+    turn auth off without disturbing session state (immediate)               SKIP\r
+    turn auth on without disturbing session state (delayed)                  SKIP\r
+    turn auth on without disturbing session state (immediate)                SKIP\r
+\r
+BFD IPv4\r
+````````\r
 \r
-BFD authentication\r
-``````````````````\r
 ::\r
 \r
     ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD) (SHA1 auth)\r
+    Bidirectional Forwarding Detection (BFD)\r
     ==============================================================================\r
-    hold BFD session up                                                      OK\r
-    hold BFD session up - meticulous auth                                    OK\r
-    session is not brought down by unauthenticated msg                       OK\r
-    session is not brought down by msg with non-existent key-id              OK\r
-    session is not brought down by msg with wrong auth type                  OK\r
-    simulate remote peer restart and resynchronization                       OK\r
-    session is not kept alive by msgs with bad seq numbers                   OK\r
-    bring BFD session up                                                     OK\r
+    put session admin-up and admin-down                                      SKIP\r
+    configuration change while peer in demand mode                           SKIP\r
+    verify session goes down after inactivity                                SKIP\r
+    echo function                                                            SKIP\r
+    session goes down if echo function fails                                 SKIP\r
+    echo packets looped back                                                 SKIP\r
+    echo function stops if echo source is removed                            SKIP\r
+    echo function stops if peer sets required min echo rx zero               SKIP\r
+    hold BFD session up                                                      SKIP\r
+    immediately honor remote required min rx reduction                       SKIP\r
+    echo packets with invalid checksum don't keep a session up               SKIP\r
+    large remote required min rx interval                                    SKIP\r
+    modify detect multiplier                                                 SKIP\r
+    modify session - double required min rx                                  SKIP\r
+    modify session - halve required min rx                                   SKIP\r
+    no periodic frames outside poll sequence if remote demand set            SKIP\r
+    test correct response to control frame with poll bit set                 SKIP\r
+    test poll sequence queueing                                              SKIP\r
+    bring BFD session down                                                   SKIP\r
+    bring BFD session up                                                     SKIP\r
+    bring BFD session up - first frame looked up by address pair             SKIP\r
+    verify slow periodic control frames while session down                   SKIP\r
+    stale echo packets don't keep a session up                               SKIP\r
+    no packets when zero remote required min rx interval                     SKIP\r
 \r
 IPv6 Tests\r
 ``````````\r
@@ -137,6 +185,19 @@ IPv6 Tests
     IPv6 FIB test                                                            OK\r
     IPv6 Neighbour Solicitation Exceptions                                   OK\r
     IPv6 Router Solicitation Exceptions                                      OK\r
+    ==============================================================================\r
+    IPv6 disabled\r
+    ==============================================================================\r
+    IP Disabled                                                              OK\r
+    IPv6 ND Proxy\r
+    ==============================================================================\r
+    IPv6 ND ProxyTest Case\r
+    ==============================================================================\r
+    IPv6 Proxy ND                                                            OK\r
+    ==============================================================================\r
+    IPv6 routes via NULL\r
+    ==============================================================================\r
+    IP NULL route                                                            OK\r
 \r
 SPAN Test\r
 `````````\r
@@ -158,14 +219,49 @@ GRE Tests
     GRE tunnel L2 Tests                                                      OK\r
     GRE tunnel VRF Tests                                                     OK\r
 \r
-SNAT Test Cases\r
-```````````````\r
+L2BD Multi-instance\r
+```````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    L2BD Multi-instance Test Case\r
+    ==============================================================================\r
+    L2BD Multi-instance test 1 - create 5 BDs                                SKIP\r
+    L2BD Multi-instance test 2 - update data of 5 BDs                        SKIP\r
+    L2BD Multi-instance 3 - delete 2 BDs                                     SKIP\r
+    L2BD Multi-instance test 4 - add 2 BDs                                   SKIP\r
+    L2BD Multi-instance 5 - delete 5 BDs                                     SKIP\r
+\r
+MAP Tests\r
+`````````\r
+::\r
+\r
+    ==============================================================================\r
+    MAP Test Case\r
+    ==============================================================================\r
+    MAP-E                                                                    OK\r
+\r
+LISP tests\r
+``````````\r
+::\r
+\r
+    ==============================================================================\r
+    Basic LISP test\r
+    ==============================================================================\r
+    Test case for basic encapsulation                                        OK\r
+\r
+NAT Test Cases\r
+``````````````\r
 ::\r
 \r
     ==============================================================================\r
     SNAT Test Cases\r
     ==============================================================================\r
     SNAT dynamic translation test                                            OK\r
+    SNAT handling of client packets with TTL=1                               OK\r
+    SNAT handling of error responses to client packets with TTL=2            OK\r
+    SNAT handling of server packets with TTL=1                               OK\r
+    SNAT handling of error responses to server packets with TTL=2            OK\r
     SNAT hairpinning                                                         OK\r
     SNAT multiple inside interfaces with overlapping address space           OK\r
     Acquire SNAT addresses from interface                                    OK\r
@@ -174,12 +270,20 @@ SNAT Test Cases
     S-NAT IPFIX logging NAT44 session created/delted                         OK\r
     MAX translations per user - recycle the least recently used              OK\r
     SNAT multiple inside interfaces (non-overlapping address space)          OK\r
+    Ping internal host from outside network                                  OK\r
+    Ping SNAT out interface from outside network                             OK\r
     S-NAT add pool addresses to FIB                                          OK\r
     SNAT 1:1 NAT initialized from inside network                             OK\r
     SNAT 1:1 NAT initialized from outside network                            OK\r
     SNAT 1:1 NAT VRF awareness                                               OK\r
     SNAT 1:1 NAT with port initialized from inside network                   OK\r
     SNAT 1:1 NAT with port initialized from outside network                  OK\r
+    S-NAT tenant VRF independent address pool mode                           OK\r
+    S-NAT tenant VRF aware address pool mode                                 OK\r
+    ==============================================================================\r
+    Deterministic NAT Test Cases\r
+    ==============================================================================\r
+    S-NAT run deterministic mode                                             OK\r
 \r
 L2XC Multi-instance\r
 ```````````````````\r
@@ -201,6 +305,14 @@ IPv4 Tests
     IPv4 Test Case\r
     ==============================================================================\r
     IPv4 FIB test                                                            OK\r
+    ==============================================================================\r
+    IPv4 routes via NULL\r
+    ==============================================================================\r
+    IP NULL route                                                            OK\r
+    ==============================================================================\r
+    IPv4 disabled\r
+    ==============================================================================\r
+    IP Disabled                                                              OK\r
 \r
 IPv4 FIB CRUD\r
 `````````````\r
@@ -224,6 +336,36 @@ IRB Tests
     IPv4 IRB test 1                                                          OK\r
     IPv4 IRB test 2                                                          OK\r
 \r
+ACL Security Groups\r
+```````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    ACL plugin Test Case\r
+    ==============================================================================\r
+    ACL plugin version check; learn MACs                                     OK\r
+    ACL create test                                                          OK\r
+    permit ACL apply test                                                    OK\r
+    deny ACL apply test                                                      OK\r
+    VPP_624 permit ICMPv4                                                    OK\r
+    VPP_624 permit ICMPv6                                                    OK\r
+    VPP_624 deny ICMPv4                                                      OK\r
+    VPP_624 deny ICMPv6                                                      OK\r
+    permit TCPv4                                                             OK\r
+    permit TCPv6                                                             OK\r
+    permit UDPv4                                                             OK\r
+    permit UDPv6                                                             OK\r
+    deny TCPv4/v6                                                            OK\r
+    deny UDPv4/v6                                                            OK\r
+    verify add/dump acls                                                     OK\r
+    permit single TCPv4                                                      OK\r
+    permit single UDPv4                                                      OK\r
+    permit single TCPv6                                                      OK\r
+    permit single UPPv6                                                      OK\r
+    deny single TCPv4/v6                                                     OK\r
+    deny single UDPv4/v6                                                     OK\r
+    deny single UDPv4/v6, permit ip any, verify non-initial fragment blocked OK\r
+\r
 MPLS Tests\r
 ``````````\r
 ::\r
@@ -238,6 +380,22 @@ MPLS Tests
     MPLS Tunnel Tests                                                        OK\r
     MPLS V4 Explicit NULL test                                               OK\r
     MPLS V6 Explicit NULL test                                               OK\r
+    ==============================================================================\r
+    MPLS disabled\r
+    ==============================================================================\r
+    MPLS Disabled                                                            OK\r
+\r
+IPv6 VRF Multi-instance\r
+```````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    IP6 VRF  Multi-instance Test Case\r
+    ==============================================================================\r
+    IP6 VRF  Multi-instance test 1 - create 4 VRFs                           OK\r
+    IP6 VRF  Multi-instance test 2 - reset 2 VRFs                            OK\r
+    IP6 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
+    IP6 VRF  Multi-instance test 4 - reset 4 VRFs                            OK\r
 \r
 L2XC Tests\r
 ``````````\r
@@ -249,6 +407,27 @@ L2XC Tests
     L2XC dual-loop test                                                      OK\r
     L2XC single-loop test                                                    OK\r
 \r
+MFIB Tests\r
+``````````\r
+::\r
+\r
+    ==============================================================================\r
+    MFIB Test Case\r
+    ==============================================================================\r
+    MFIB Unit Tests                                                          OK\r
+\r
+IP Multicast Tests\r
+``````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    IP Multicast Test Case\r
+    ==============================================================================\r
+    IPv6 Multicast Replication                                               OK\r
+    IP Multicast Replication                                                 OK\r
+    IP Multicast Connected Source check                                      OK\r
+    IP Multicast Signal                                                      OK\r
+\r
 Classifier\r
 ``````````\r
 ::\r
@@ -260,6 +439,56 @@ Classifier
     MAC ACL test                                                             OK\r
     IP PBR test                                                              OK\r
 \r
+IRB Tests\r
+`````````\r
+::\r
+\r
+    ==============================================================================\r
+    IRB Test Case\r
+    ==============================================================================\r
+    ACL plugin prepare                                                       OK\r
+    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL permit+reflect                     OK\r
+    ACL plugin set old L2 datapath                                           OK\r
+    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
+\r
 VXLAN Tests\r
 ```````````\r
 ::\r
@@ -285,6 +514,17 @@ L2 FIB CRUD
     L2 FIB test 3 - program new 100 MAC addresses                            OK\r
     L2 FIB test 4 - delete 160 MAC entries                                   OK\r
 \r
+ARP Tests\r
+`````````\r
+::\r
+\r
+    ==============================================================================\r
+    ARP Test Case\r
+    ==============================================================================\r
+    ARP                                                                      OK\r
+    MPLS                                                                     OK\r
+    Proxy ARP                                                                OK\r
+\r
 L2BD Tests\r
 ``````````\r
 ::\r