rls18.01.1 report: updated make test unittest content. 60/10460/2
authorMaciek Konstantynowicz <mkonstan@cisco.com>
Thu, 8 Feb 2018 14:02:47 +0000 (14:02 +0000)
committerTibor Frank <tifrank@cisco.com>
Thu, 8 Feb 2018 14:28:36 +0000 (14:28 +0000)
Change-Id: Ic57148795df2459010f908b196acfc8de7c7b50f
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>
docs/report/detailed_test_results/vpp_unittest_results/vpp_unittest_results.rst
docs/report/vpp_unit_tests/overview.rst

index f20bb98..3e1fd5a 100644 (file)
-CRUD Loopback\r
-`````````````\r
+ACL Security Groups\r
+```````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    CRUD Loopback\r
+    ACL plugin Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    test_crud (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
-    test_down (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
+    ACL plugin version check; learn MACs                                     OK\r
+    ACL create/delete test                                                   OK\r
+    permit ACL apply test                                                    OK\r
+    deny ACL apply test                                                      OK\r
+    VPP_624 permit ICMPv4                                                    OK\r
+    VPP_624 permit ICMPv6                                                    OK\r
+    VPP_624 deny ICMPv4                                                      OK\r
+    VPP_624 deny ICMPv6                                                      OK\r
+    permit TCPv4                                                             OK\r
+    permit TCPv6                                                             OK\r
+    permit UDPv4                                                             OK\r
+    permit UDPv6                                                             OK\r
+    deny TCPv4/v6                                                            OK\r
+    deny UDPv4/v6                                                            OK\r
+    verify add/dump acls                                                     OK\r
+    permit single TCPv4                                                      OK\r
+    permit single UDPv4                                                      OK\r
+    permit single TCPv6                                                      OK\r
+    permit single UPPv6                                                      OK\r
+    deny single TCPv4/v6                                                     OK\r
+    deny single UDPv4/v6                                                     OK\r
+    deny single UDPv4/v6, permit ip any, verify non-initial fragment blocked OK\r
+    VPP-687 zero length udp ipv4 packet                                      OK\r
+    VPP-687 zero length udp ipv6 packet                                      OK\r
+    permit TCPv4 + non-match range                                           OK\r
+    permit TCPv6 + non-match range                                           OK\r
+    permit UDPv4 + non-match range                                           OK\r
+    permit UDPv6 + non-match range                                           OK\r
+    deny TCPv4/v6 + non-match range                                          OK\r
+    deny UDPv4/v6 + non-match range                                          OK\r
 \r
 \r
-Flowprobe feature\r
-`````````````````\r
-::\r
+    ==============================================================================\r
+    IRB Test Case\r
+    ==============================================================================\r
+    ACL plugin prepare                                                       OK\r
+    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL permit+reflect                     OK\r
 \r
     ==============================================================================\r
 \r
     ==============================================================================\r
-    Re-enable Flowprobe feature\r
+    ACL plugin connection-oriented extended testcases\r
     ==============================================================================\r
     ==============================================================================\r
-    disable flowprobe feature after first packets and re-enable              SKIP\r
+    Prepare the settings                                                     SKIP\r
+    IPv4: Basic conn timeout test reflect on ingress                         SKIP\r
+    IPv4: Basic conn timeout test reflect on egress                          SKIP\r
+    IPv4: reflect egress, clear conn                                         SKIP\r
+    IPv4: reflect ingress, clear conn                                        SKIP\r
+    IPv4: Idle conn behind active conn, reflect on ingress                   SKIP\r
+    IPv4: Idle conn behind active conn, reflect on egress                    SKIP\r
+    IPv6: Basic conn timeout test reflect on ingress                         SKIP\r
+    IPv6: Basic conn timeout test reflect on egress                          SKIP\r
+    IPv6: reflect egress, clear conn                                         SKIP\r
+    IPv6: reflect ingress, clear conn                                        SKIP\r
+    IPv6: Idle conn behind active conn, reflect on ingress                   SKIP\r
+    IPv6: Idle conn behind active conn, reflect on egress                    SKIP\r
+    Prepare for TCP session tests                                            SKIP\r
+    IPv4: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
+    IPv4: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
+    IPv4: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
+    IPv4: established TCP session (complete 3WHS), ref. on egress            SKIP\r
+    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
+    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
+    IPv6: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
+    IPv6: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
+    IPv6: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
+    IPv6: established TCP session (complete 3WHS), ref. on egress            SKIP\r
+    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
+    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    collect information on Ethernet, IP4 and IP6 datapath (no timers)\r
+    ACL on dot1q bridged subinterfaces Tests\r
     ==============================================================================\r
     ==============================================================================\r
-    no timers, one CFLOW packet, 9 Flows inside                              OK\r
-    no timers, two CFLOW packets (mtu=256), 3 Flows in each                  OK\r
-    L2 data on IP4 datapath                                                  OK\r
-    L2 data on IP6 datapath                                                  OK\r
-    L2 data on L2 datapath                                                   OK\r
-    L3 data on IP4 datapath                                                  OK\r
-    L3 data on IP6 datapath                                                  OK\r
-    L3 data on L2 datapath                                                   OK\r
-    L4 data on IP4 datapath                                                  OK\r
-    L4 data on IP6 datapath                                                  OK\r
-    L4 data on L2 datapath                                                   OK\r
-    verify templates on IP6 datapath                                         OK\r
-    verify templates on IP4 datapath                                         OK\r
-    verify template on L2 datapath                                           OK\r
+    IP4 ACL SubIf Dot1Q bridged traffic                                      OK\r
+    IP6 ACL SubIf Dot1Q bridged traffic                                      OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    Disable Flowprobe feature\r
+    ACL on dot1ad bridged subinterfaces Tests\r
     ==============================================================================\r
     ==============================================================================\r
-    disable flowprobe feature after first packets                            SKIP\r
+    IP4 ACL SubIf Dot1AD bridged traffic                                     OK\r
+    IP6 ACL SubIf Dot1AD bridged traffic                                     OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    Re-enable IPFIX\r
+    ACL on dot1ad routed subinterfaces Tests\r
     ==============================================================================\r
     ==============================================================================\r
-    disable IPFIX after first packets and re-enable after few packets        SKIP\r
+    IP4 ACL SubIf Dot1AD routed traffic                                      OK\r
+    IP4 ACL SubIf wrong tags Dot1AD routed traffic                           OK\r
+    IP6 ACL SubIf Dot1AD routed traffic                                      OK\r
+    IP6 ACL SubIf wrong tags Dot1AD routed traffic                           OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    Disable IPFIX\r
+    ACL on dot1q routed subinterfaces Tests\r
     ==============================================================================\r
     ==============================================================================\r
-    disable IPFIX after first packets                                        SKIP\r
+    IP4 ACL SubIf Dot1Q routed traffic                                       OK\r
+    IP4 ACL SubIf wrong tags Dot1Q routed traffic                            OK\r
+    IP6 ACL SubIf Dot1Q routed traffic                                       OK\r
+    IP6 ACL SubIf wrong tags Dot1Q routed traffic                            OK\r
 \r
 \r
-DHCP\r
+APIs\r
 ````\r
 ::\r
 \r
     ==============================================================================\r
 ````\r
 ::\r
 \r
     ==============================================================================\r
-    DHCP Test Case\r
+    VAPI test\r
     ==============================================================================\r
     ==============================================================================\r
-    DHCPv6 Proxy                                                             OK\r
-    DHCP Client                                                              OK\r
-    DHCPv4 Proxy                                                             OK\r
+    run C VAPI tests                                                         SKIP\r
+    run C++ VAPI tests                                                       SKIP\r
 \r
 \r
-IPv4 VRF Multi-instance\r
-```````````````````````\r
-::\r
+    ==============================================================================\r
+    VPP Object Model Test\r
+    ==============================================================================\r
+    run C++ VOM tests                                                        SKIP\r
 \r
     ==============================================================================\r
 \r
     ==============================================================================\r
-    IP4 VRF  Multi-instance Test Case\r
+    PAPI Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IP4 VRF  Multi-instance test 1 - create 5 BDs                            OK\r
-    IP4 VRF  Multi-instance test 2 - delete 2 VRFs                           OK\r
-    IP4 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
-    IP4 VRF  Multi-instance test 4 - delete 4 VRFs                           OK\r
+    show version                                                             OK\r
+    show version - invalid parameters                                        OK\r
+    u8 array                                                                 OK\r
 \r
 \r
-Load Balancer\r
-`````````````\r
-::\r
+    ==============================================================================\r
+    PAPI Message parsing Test Case\r
+    ==============================================================================\r
+    New compound type with array                                             OK\r
+    Add new types                                                            OK\r
+    Add new types 2                                                          OK\r
+    Add new message object                                                   OK\r
+    New message with array                                                   OK\r
+    Argument name                                                            OK\r
+    VLA with aribtrary length field placement                                OK\r
+    Message to byte encoding                                                 OK\r
+    Nested array type                                                        OK\r
+    Old style VLA array                                                      OK\r
+    Old VLA compound type                                                    OK\r
+    Old VLA array arbitrary placement                                        OK\r
+    Old VLA u32                                                              OK\r
+    Simple array                                                             OK\r
 \r
     ==============================================================================\r
 \r
     ==============================================================================\r
-    Load Balancer Test Case\r
+    JVPP Core Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    Load Balancer IP4 GRE4                                                   OK\r
-    Load Balancer IP4 GRE6                                                   OK\r
-    Load Balancer IP6 GRE4                                                   OK\r
-    Load Balancer IP6 GRE6                                                   OK\r
+    JVPP Acl Callback Api Test Case                                          OK\r
+    JVPP Acl Future Api Test Case                                            OK\r
+    JVPP Core Callback Api Test Case                                         OK\r
+    JVPP Core Future Api Test Case                                           OK\r
+    JVPP Ioamexport Callback Api Test Case                                   OK\r
+    JVPP Ioamexport Future Api Test Case                                     OK\r
+    JVPP Ioampot Callback Api Test Case                                      OK\r
+    JVPP Ioampot Future Api Test Case                                        OK\r
+    JVPP Ioamtrace Callback Api Test Case                                    OK\r
+    JVPP Ioamtrace Future Api Test Case                                      OK\r
+    JVPP Snat Callback Api Test Case                                         OK\r
+    JVPP Snat Future Api Test Case                                           OK\r
 \r
 \r
-FIB Tests\r
-`````````\r
+ARP\r
+```\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    FIB Test Case\r
+    ARP Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    FIB Unit Tests                                                           OK\r
+    ARP                                                                      OK\r
+    ARP Duplicates                                                           OK\r
+    ARP Static                                                               OK\r
+    ARP reply with VRRP virtual src hw addr                                  OK\r
+    MPLS                                                                     OK\r
+    Proxy ARP                                                                OK\r
+    Interface Mirror Proxy ARP                                               OK\r
 \r
 \r
-BFD IPv6\r
+    ==============================================================================\r
+    L2BD arp termination Test Case\r
+    ==============================================================================\r
+    L2BD arp term - add 5 hosts, verify arp responses                        OK\r
+    L2BD arp term - delete 3 hosts, verify arp responses                     OK\r
+    L2BD arp term - recreate BD1, readd 3 hosts, verify arp responses        OK\r
+    L2BD arp term - 2 IP4 addrs per host                                     OK\r
+    L2BD arp term - create and update 10 IP4-mac pairs                       OK\r
+    L2BD arp/ND term - hosts with both ip4/ip6                               OK\r
+    L2BD ND term - Add and Del hosts, verify ND replies                      OK\r
+    L2BD ND term - Add and update IP+mac, verify ND replies                  OK\r
+    L2BD arp term - send garps, verify arp event reports                     OK\r
+    L2BD arp term - send duplicate garps, verify suppression                 OK\r
+    L2BD arp term - disable ip4 arp events,send garps, verify no events      OK\r
+    L2BD ND term - send NS packets verify reports                            OK\r
+    L2BD ND term - send duplicate ns, verify suppression                     OK\r
+    L2BD ND term - disable ip4 arp events,send ns, verify no events          OK\r
+\r
+BFD API\r
 ````````\r
 ::\r
 \r
     ==============================================================================\r
 ````````\r
 ::\r
 \r
     ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD) (IPv6)\r
-    ==============================================================================\r
-    echo function used                                                       SKIP\r
-    echo packets looped back                                                 SKIP\r
-    hold BFD session up                                                      SKIP\r
-    interface with bfd session deleted                                       SKIP\r
-    bring BFD session up                                                     SKIP\r
-    bring BFD session up - first frame looked up by address pair             SKIP\r
-    ==============================================================================\r
-    BFD-FIB interactions (IPv6)\r
+    Bidirectional Forwarding Detection (BFD) - API\r
     ==============================================================================\r
     ==============================================================================\r
-    BFD-FIB interactions                                                     SKIP\r
+    activate SHA1 authentication                                             SKIP\r
+    create BFD session using non-existent SHA1 (negative case)               SKIP\r
+    create a BFD session                                                     SKIP\r
+    create IPv6 BFD session                                                  SKIP\r
+    create a BFD session (SHA1)                                              SKIP\r
+    add SHA1 keys                                                            SKIP\r
+    change SHA1 key                                                          SKIP\r
+    deactivate SHA1 authentication                                           SKIP\r
+    create the same BFD session twice (negative case)                        SKIP\r
+    create the same BFD session twice (negative case) (SHA1)                 SKIP\r
+    modify BFD session parameters                                            SKIP\r
+    share single SHA1 key between multiple BFD sessions                      SKIP\r
 \r
 \r
-BFD authentication\r
+BFD Authentication\r
 ``````````````````\r
 ::\r
 \r
 ``````````````````\r
 ::\r
 \r
@@ -124,6 +256,20 @@ BFD authentication
     session is not kept alive by msgs with bad sequence numbers              SKIP\r
     bring BFD session up                                                     SKIP\r
 \r
     session is not kept alive by msgs with bad sequence numbers              SKIP\r
     bring BFD session up                                                     SKIP\r
 \r
+BFD Authentication Change\r
+`````````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    Bidirectional Forwarding Detection (BFD) (changing auth)\r
+    ==============================================================================\r
+    change auth key without disturbing session state (delayed)               SKIP\r
+    change auth key without disturbing session state (immediate)             SKIP\r
+    turn auth off without disturbing session state (delayed)                 SKIP\r
+    turn auth off without disturbing session state (immediate)               SKIP\r
+    turn auth on without disturbing session state (delayed)                  SKIP\r
+    turn auth on without disturbing session state (immediate)                SKIP\r
+\r
 BFD CLI\r
 ````````\r
 ::\r
 BFD CLI\r
 ````````\r
 ::\r
@@ -143,47 +289,12 @@ BFD CLI
     set/del udp echo source                                                  SKIP\r
     show commands                                                            SKIP\r
 \r
     set/del udp echo source                                                  SKIP\r
     show commands                                                            SKIP\r
 \r
-BFD API\r
+BFD IPv4\r
 ````````\r
 ::\r
 \r
     ==============================================================================\r
 ````````\r
 ::\r
 \r
     ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD) - API\r
-    ==============================================================================\r
-    activate SHA1 authentication                                             SKIP\r
-    create BFD session using non-existent SHA1 (negative case)               SKIP\r
-    create a BFD session                                                     SKIP\r
-    create IPv6 BFD session                                                  SKIP\r
-    create a BFD session (SHA1)                                              SKIP\r
-    add SHA1 keys                                                            SKIP\r
-    change SHA1 key                                                          SKIP\r
-    deactivate SHA1 authentication                                           SKIP\r
-    create the same BFD session twice (negative case)                        SKIP\r
-    create the same BFD session twice (negative case) (SHA1)                 SKIP\r
-    modify BFD session parameters                                            SKIP\r
-    share single SHA1 key between multiple BFD sessions                      SKIP\r
-\r
-BFD authentication change\r
-`````````````````````````\r
-::\r
-\r
-    ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD) (changing auth)\r
-    ==============================================================================\r
-    change auth key without disturbing session state (delayed)               SKIP\r
-    change auth key without disturbing session state (immediate)             SKIP\r
-    turn auth off without disturbing session state (delayed)                 SKIP\r
-    turn auth off without disturbing session state (immediate)               SKIP\r
-    turn auth on without disturbing session state (delayed)                  SKIP\r
-    turn auth on without disturbing session state (immediate)                SKIP\r
-\r
-BFD IPv4\r
-````````\r
-\r
-::\r
-\r
-    ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD)\r
+    Bidirectional Forwarding Detection (BFD)\r
     ==============================================================================\r
     put session admin-up and admin-down                                      SKIP\r
     configuration change while peer in demand mode                           SKIP\r
     ==============================================================================\r
     put session admin-up and admin-down                                      SKIP\r
     configuration change while peer in demand mode                           SKIP\r
@@ -195,6 +306,7 @@ BFD IPv4
     echo function stops if peer sets required min echo rx zero               SKIP\r
     hold BFD session up                                                      SKIP\r
     immediately honor remote required min rx reduction                       SKIP\r
     echo function stops if peer sets required min echo rx zero               SKIP\r
     hold BFD session up                                                      SKIP\r
     immediately honor remote required min rx reduction                       SKIP\r
+    interface with bfd session deleted                                       SKIP\r
     echo packets with invalid checksum don't keep a session up               SKIP\r
     large remote required min rx interval                                    SKIP\r
     modify detect multiplier                                                 SKIP\r
     echo packets with invalid checksum don't keep a session up               SKIP\r
     large remote required min rx interval                                    SKIP\r
     modify detect multiplier                                                 SKIP\r
@@ -210,207 +322,237 @@ BFD IPv4
     stale echo packets don't keep a session up                               SKIP\r
     no packets when zero remote required min rx interval                     SKIP\r
 \r
     stale echo packets don't keep a session up                               SKIP\r
     no packets when zero remote required min rx interval                     SKIP\r
 \r
-\r
-\r
-IPv6 Tests\r
-``````````\r
+BFD IPv6\r
+````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    IPv6 Test Case\r
-    ==============================================================================\r
-    IPv6 FIB test                                                            OK\r
-    IPv6 Neighbour Solicitation Exceptions                                   OK\r
-    ND Duplicates                                                            OK\r
-    IPv6 Router Solicitation Exceptions                                      OK\r
-    ==============================================================================\r
-    IPv6 disabled\r
+    Bidirectional Forwarding Detection (BFD) (IPv6)\r
     ==============================================================================\r
     ==============================================================================\r
-    IP Disabled                                                              OK\r
+    echo function used                                                       SKIP\r
+    echo packets looped back                                                 SKIP\r
+    hold BFD session up                                                      SKIP\r
+    interface with bfd session deleted                                       SKIP\r
+    bring BFD session up                                                     SKIP\r
+    bring BFD session up - first frame looked up by address pair             SKIP\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv6 ND ProxyTest Case\r
+    BFD-FIB interactions (IPv6)\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv6 Proxy ND                                                            OK\r
+    BFD-FIB interactions                                                     SKIP\r
+\r
+BIER - Bit Indexed Explicit Replication\r
+```````````````````````````````````````\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv6 Load-Balancing\r
+    BIER Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv6 Load-Balancing                                                      OK\r
+    BIER end-to-end                                                          OK\r
+    BIER head                                                                OK\r
+    BIER head over UDP                                                       OK\r
+    BIER midpoint                                                            OK\r
+    BIER Tail                                                                OK\r
+    BIER Tail over UDP                                                       OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv6 routes via NULL\r
+    BIER FIB Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IP NULL route                                                            OK\r
+    BFIB Unit Tests                                                          OK\r
 \r
 \r
-SPAN Tests\r
+Classifier\r
 ``````````\r
 ::\r
 \r
     ==============================================================================\r
 ``````````\r
 ::\r
 \r
     ==============================================================================\r
-    SPAN Test Case\r
+    Classifier Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    SPAN device rx mirror test                                               OK\r
-    SPAN l2 tx mirror test                                                   OK\r
-    SPAN l2 rx mirror test                                                   OK\r
-    SPAN l2 rx mirror into gre-subif+vtr                                     OK\r
-    SPAN l2 rx mirror into subif+vtr                                         OK\r
-    SPAN l2 rx mirror into vxlan test                                        OK\r
+    IP ACL test                                                              OK\r
+    MAC ACL test                                                             OK\r
+    IP PBR test                                                              OK\r
 \r
 \r
-GRE Tests\r
-`````````\r
+Container Integration\r
+`````````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    GRE Test Case\r
+    Container integration extended testcases\r
     ==============================================================================\r
     ==============================================================================\r
-    GRE IPv4 tunnel Tests                                                    OK\r
-    GRE IPv6 tunnel Tests                                                    OK\r
-    GRE tunnel L2 Tests                                                      OK\r
-    GRE tunnel VRF Tests                                                     OK\r
+    IPv4 basic connectivity test                                             SKIP\r
+    IPv6 basic connectivity test                                             SKIP\r
+    Create loopbacks overlapping with remote addresses                       SKIP\r
+    IPv4 local-spoof connectivity test                                       SKIP\r
+    IPv6 local-spoof connectivity test                                       SKIP\r
+    Configure container commands                                             SKIP\r
+    IPv4 test after configuring container                                    SKIP\r
+    IPv6 test after configuring container                                    SKIP\r
+    Unconfigure container commands                                           SKIP\r
+    IPv4 local-spoof after unconfig test                                     SKIP\r
+    IPv6 local-spoof after unconfig test                                     SKIP\r
 \r
 \r
-L2BD Multi-instance\r
-```````````````````\r
+CRUD Loopback\r
+`````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    L2BD Multi-instance Test Case\r
+    CRUD Loopback\r
     ==============================================================================\r
     ==============================================================================\r
-    L2BD Multi-instance test 1 - create 5 BDs                                SKIP\r
-    L2BD Multi-instance test 2 - update data of 5 BDs                        SKIP\r
-    L2BD Multi-instance 3 - delete 2 BDs                                     SKIP\r
-    L2BD Multi-instance test 4 - add 2 BDs                                   SKIP\r
-    L2BD Multi-instance 5 - delete 5 BDs                                     SKIP\r
+    test_crud (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
+    test_down (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
 \r
 \r
-MAP Tests\r
-`````````\r
+DHCP\r
+````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    MAP Test Case\r
+    DHCP Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    MAP-E                                                                    OK\r
+    DHCPv6 Proxy                                                             OK\r
+    DHCP Client                                                              OK\r
+    DHCPv4 Proxy                                                             OK\r
 \r
 \r
-LISP tests\r
-``````````\r
+Distributed Virtual Router\r
+``````````````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    Basic LISP test\r
+    Distributed Virtual Router\r
     ==============================================================================\r
     ==============================================================================\r
-    Test case for basic encapsulation                                        OK\r
+    Distributed Virtual Router                                               OK\r
+    L2 Emulation                                                             OK\r
 \r
 \r
-NAT44 Test Cases\r
+DS-Lite Softwire\r
 ````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ````````````````\r
 ::\r
 \r
     ==============================================================================\r
-    NAT44 Test Cases\r
+    DS-Lite Test Cases\r
     ==============================================================================\r
     ==============================================================================\r
-    NAT44 dynamic translation test                                           OK\r
-    NAT44 handling of client packets with TTL=1                              OK\r
-    NAT44 handling of error responses to client packets with TTL=2           OK\r
-    NAT44 handling of server packets with TTL=1                              OK\r
-    NAT44 handling of error responses to server packets with TTL=2           OK\r
-    NAT44 interfaces without configured IP address                           OK\r
-    NAT44 hairpinning - 1:1 NAPT                                             OK\r
-    NAT44 hairpinning - 1:1 NAT                                              OK\r
-    1:1 NAT translate packet with unknown protocol - hairpinning             OK\r
-    NAT44 translate packet with unknown protocol - hairpinning               OK\r
-    NAT44 multiple inside interfaces with overlapping address space          OK\r
-    Acquire NAT44 addresses from interface                                   OK\r
-    Static mapping with addresses from interface                             OK\r
-    IPFIX logging NAT addresses exhausted                                    OK\r
-    IPFIX logging NAT44 session created/delted                               OK\r
-    MAX translations per user - recycle the least recently used              OK\r
-    NAT44 multiple non-overlapping address space inside interfaces           OK\r
-    NAT44 interface output feature (in2out postrouting)                      OK\r
-    NAT44 interface output feature hairpinning (in2out postrouting)          OK\r
-    NAT44 interface output feature VRF aware (in2out postrouting)            OK\r
-    Ping internal host from outside network                                  OK\r
-    Ping NAT44 out interface from outside network                            OK\r
-    NAT44 add pool addresses to FIB                                          OK\r
-    1:1 NAT initialized from inside network                                  OK\r
-    NAT44 interfaces without configured IP address - 1:1 NAT                 OK\r
-    NAT44 local service load balancing                                       OK\r
-    1:1 NAT initialized from outside network                                 OK\r
-    1:1 NAT translate packet with unknown protocol                           OK\r
-    1:1 NAT VRF awareness                                                    OK\r
-    1:1 NAPT initialized from inside network                                 OK\r
-    NAT44 interfaces without configured IP address - 1:1 NAPT                OK\r
-    1:1 NAPT initialized from outside network                                OK\r
-    NAT44 translate packet with unknown protocol                             OK\r
-    NAT44 tenant VRF independent address pool mode                           OK\r
-    NAT44 tenant VRF aware address pool mode                                 OK\r
+    Test DS-Lite                                                             OK\r
+\r
+FIB\r
+```\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    Deterministic NAT Test Cases\r
+    FIB Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    Deterministic NAT translation test (TCP, UDP, ICMP)                      OK\r
-    NAT plugin run deterministic mode                                        OK\r
-    Deterministic NAT multiple users                                         OK\r
-    Deterministic NAT maximum sessions per user limit                        SKIP\r
-    Deterministic NAT session timeouts                                       SKIP\r
-    Set deterministic NAT timeouts                                           OK\r
-    Deterministic NAT TCP session close from inside network                  OK\r
-    Deterministic NAT TCP session close from outside network                 OK\r
+    FIB Unit Tests                                                           OK\r
 \r
 \r
-NAT64 Test Cases\r
-````````````````\r
+Flowprobe\r
+`````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    NAT64 Test Cases\r
+    Re-enable Flowprobe feature\r
     ==============================================================================\r
     ==============================================================================\r
-    NAT64 dynamic translation test                                           OK\r
-    NAT64 hairpinning                                                        OK\r
-    NAT64 translate packet with unknown protocol - hairpinning               OK\r
-    NAT64 ICMP Error message translation                                     OK\r
-    Enable/disable NAT64 feature on the interface                            OK\r
-    Add/delete address to NAT64 pool                                         OK\r
-    NAT64 Network-Specific Prefix                                            OK\r
-    NAT64 session timeout                                                    SKIP\r
-    Set NAT64 timeouts                                                       OK\r
-    NAT64 static translation test                                            OK\r
-    Add/delete static BIB entry                                              OK\r
-    NAT64 translate packet with unknown protocol                             OK\r
+    disable flowprobe feature after first packets and re-enable              SKIP\r
 \r
 \r
-L2XC Multi-instance\r
-```````````````````\r
-::\r
+    ==============================================================================\r
+    collect information on Ethernet, IP4 and IP6 datapath (no timers)\r
+    ==============================================================================\r
+    no timers, one CFLOW packet, 9 Flows inside                              OK\r
+    no timers, two CFLOW packets (mtu=256), 3 Flows in each                  OK\r
+    L2 data on IP4 datapath                                                  OK\r
+    L2 data on IP6 datapath                                                  OK\r
+    L2 data on L2 datapath                                                   OK\r
+    L3 data on IP4 datapath                                                  OK\r
+    L3 data on IP6 datapath                                                  OK\r
+    L3 data on L2 datapath                                                   OK\r
+    L4 data on IP4 datapath                                                  OK\r
+    L4 data on IP6 datapath                                                  OK\r
+    L4 data on L2 datapath                                                   OK\r
+    verify templates on IP6 datapath                                         OK\r
+    verify templates on IP4 datapath                                         OK\r
+    verify template on L2 datapath                                           OK\r
 \r
     ==============================================================================\r
 \r
     ==============================================================================\r
-    L2XC Multi-instance Test Case\r
+    Disable Flowprobe feature\r
     ==============================================================================\r
     ==============================================================================\r
-    L2XC Multi-instance test 1 - create 10 cross-connects                    OK\r
-    L2XC Multi-instance test 2 - delete 4 cross-connects                     OK\r
-    L2BD Multi-instance 3 - add new 4 cross-connects                         OK\r
-    L2XC Multi-instance test 4 - delete 10 cross-connects                    OK\r
+    disable flowprobe feature after first packets                            SKIP\r
 \r
 \r
-IPv4 Tests\r
-``````````\r
+    ==============================================================================\r
+    Re-enable IPFIX\r
+    ==============================================================================\r
+    disable IPFIX after first packets and re-enable after few packets        SKIP\r
+\r
+    ==============================================================================\r
+    Disable IPFIX\r
+    ==============================================================================\r
+    disable IPFIX after first packets                                        SKIP\r
+\r
+Geneve Tunnels\r
+``````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    IPv4 Test Case\r
+    GENEVE Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv4 FIB test                                                            OK\r
+    Decapsulation test                                                       OK\r
+    Encapsulation test                                                       OK\r
+    Multicast flood test                                                     OK\r
+    Multicast receive test                                                   OK\r
+    Unicast flood test                                                       OK\r
+\r
+GRE Tunnels\r
+```````````\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv4 routes via NULL\r
+    GRE Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IP NULL route                                                            OK\r
+    GRE IPv4 tunnel Tests                                                    OK\r
+    GRE IPv6 tunnel Tests                                                    OK\r
+    GRE tunnel L2 Tests                                                      OK\r
+    GRE tunnel VRF Tests                                                     OK\r
+\r
+GTPU Tunnels\r
+````````````\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv4 disabled\r
+    GTPU Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IP Disabled                                                              OK\r
+    Decapsulation test                                                       OK\r
+    Encapsulation test                                                       OK\r
+    Multicast flood test                                                     OK\r
+    Multicast receive test                                                   OK\r
+    Unicast flood test                                                       OK\r
+\r
+IP Multicast Routing\r
+````````````````````\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv4 Subnets\r
+    IP Multicast Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IP Sub Nets                                                              OK\r
+    IP Multicast Bi-directional                                              OK\r
+    IPv6 Multicast Replication                                               OK\r
+    IPv6 Multicast Replication in non-default table                          OK\r
+    IP Multicast Replication                                                 OK\r
+    IP Multicast Connected Source check                                      OK\r
+    IP Multicast Signal                                                      OK\r
+    IP Multicast Replication in non-default table                            OK\r
+\r
+IPSec\r
+`````\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv4 VLAN-0\r
+    Basic test for IPSEC using AH transport and Tunnel mode\r
     ==============================================================================\r
     ==============================================================================\r
-    IP VLAN-0                                                                OK\r
+    ipsec ah v4 transport basic test                                         OK\r
+    ipsec ah v4 transport burst test                                         OK\r
+    ipsec ah 4o4 tunnel basic test                                           OK\r
+    ipsec ah 4o4 tunnel burst test                                           OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv4 Load-Balancing\r
+    Basic test for ipsec esp sanity - tunnel and transport modes.\r
     ==============================================================================\r
     ==============================================================================\r
-    IP Load-Balancing                                                        OK\r
+    ipsec esp v4 transport basic test                                        OK\r
+    ipsec esp v4 transport burst test                                        OK\r
+    ipsec esp 4o4 tunnel basic test                                          OK\r
+    ipsec esp 4o4 tunnel burst test                                          OK\r
 \r
 IPv4 FIB CRUD\r
 `````````````\r
 \r
 IPv4 FIB CRUD\r
 `````````````\r
@@ -424,148 +566,108 @@ IPv4 FIB CRUD
     Add 1k routes                                                            OK\r
     Delete 1.5k routes                                                       OK\r
 \r
     Add 1k routes                                                            OK\r
     Delete 1.5k routes                                                       OK\r
 \r
-IRB Tests\r
-`````````\r
+IPv4 Routing\r
+````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    IRB Test Case\r
+    IPv4 Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    ACL plugin prepare                                                       OK\r
-    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
-    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
-    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
-    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
-    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
-    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
-    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
-    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
-    ACL IPv6 routed -> bridged, L2 ACL permit+reflect                        OK\r
-    ACL IPv6 bridged -> routed, L2 ACL permit+reflect                        OK\r
-    ACL IPv4 routed -> bridged, L2 ACL permit+reflect                        OK\r
-    ACL IPv4 bridged -> routed, L2 ACL permit+reflect                        OK\r
-    ACL IPv6 routed -> bridged, L3 ACL permit+reflect                        OK\r
-    ACL IPv6 bridged -> routed, L3 ACL permit+reflect                        OK\r
-    ACL IPv4 routed -> bridged, L3 ACL permit+reflect                        OK\r
-    ACL IPv4 bridged -> routed, L3 ACL permit+reflect                        OK\r
-    ACL IPv6+EH routed -> bridged, L2 ACL deny                               OK\r
-    ACL IPv6+EH routed -> bridged, L3 ACL deny                               OK\r
-    ACL IPv6+EH bridged -> routed, L2 ACL deny                               OK\r
-    ACL IPv6+EH bridged -> routed, L3 ACL deny                               OK\r
-    ACL IPv6+EH routed -> bridged, L2 ACL permit+reflect                     OK\r
-    ACL IPv6+EH bridged -> routed, L2 ACL permit+reflect                     OK\r
-    ACL IPv6+EH routed -> bridged, L3 ACL permit+reflect                     OK\r
-    ACL IPv6+EH bridged -> routed, L3 ACL permit+reflect                     OK\r
-    ACL IPv4+MF routed -> bridged, L2 ACL deny                               OK\r
-    ACL IPv4+MF routed -> bridged, L3 ACL deny                               OK\r
-    ACL IPv4+MF bridged -> routed, L2 ACL deny                               OK\r
-    ACL IPv4+MF bridged -> routed, L3 ACL deny                               OK\r
-    ACL IPv4+MF routed -> bridged, L2 ACL permit+reflect                     OK\r
-    ACL IPv4+MF bridged -> routed, L2 ACL permit+reflect                     OK\r
-    ACL IPv4+MF routed -> bridged, L3 ACL permit+reflect                     OK\r
-    ACL IPv4+MF bridged -> routed, L3 ACL permit+reflect                     OK\r
+    IPv4 FIB test                                                            OK\r
 \r
 \r
-ACL Security Groups\r
-```````````````````\r
-::\r
+    ==============================================================================\r
+    IPv4 routes via NULL\r
+    ==============================================================================\r
+    IP NULL route                                                            OK\r
 \r
     ==============================================================================\r
 \r
     ==============================================================================\r
-    ACL plugin Test Case\r
+    IPv4 disabled\r
     ==============================================================================\r
     ==============================================================================\r
-    ACL plugin version check; learn MACs                                     OK\r
-    ACL create/delete test                                                   OK\r
-    permit ACL apply test                                                    OK\r
-    deny ACL apply test                                                      OK\r
-    VPP_624 permit ICMPv4                                                    OK\r
-    VPP_624 permit ICMPv6                                                    OK\r
-    VPP_624 deny ICMPv4                                                      OK\r
-    VPP_624 deny ICMPv6                                                      OK\r
-    permit TCPv4                                                             OK\r
-    permit TCPv6                                                             OK\r
-    permit UDPv4                                                             OK\r
-    permit UDPv6                                                             OK\r
-    deny TCPv4/v6                                                            OK\r
-    deny UDPv4/v6                                                            OK\r
-    verify add/dump acls                                                     OK\r
-    permit single TCPv4                                                      OK\r
-    permit single UDPv4                                                      OK\r
-    permit single TCPv6                                                      OK\r
-    permit single UPPv6                                                      OK\r
-    deny single TCPv4/v6                                                     OK\r
-    deny single UDPv4/v6                                                     OK\r
-    deny single UDPv4/v6, permit ip any, verify non-initial fragment blocked OK\r
-    VPP-687 zero length udp ipv4 packet                                      OK\r
-    VPP-687 zero length udp ipv6 packet                                      OK\r
-    permit TCPv4 + non-match range                                           OK\r
-    permit TCPv6 + non-match range                                           OK\r
-    permit UDPv4 + non-match range                                           OK\r
-    permit UDPv6 + non-match range                                           OK\r
-    deny TCPv4/v6 + non-match range                                          OK\r
-    deny UDPv4/v6 + non-match range                                          OK\r
+    IP Disabled                                                              OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    ACL plugin connection-oriented extended testcases\r
+    IPv4 Subnets\r
     ==============================================================================\r
     ==============================================================================\r
-    Prepare the settings                                                     SKIP\r
-    IPv4: Basic conn timeout test reflect on ingress                         SKIP\r
-    IPv4: Basic conn timeout test reflect on egress                          SKIP\r
-    IPv4: reflect egress, clear conn                                         SKIP\r
-    IPv4: reflect ingress, clear conn                                        SKIP\r
-    IPv4: Idle conn behind active conn, reflect on ingress                   SKIP\r
-    IPv4: Idle conn behind active conn, reflect on egress                    SKIP\r
-    IPv6: Basic conn timeout test reflect on ingress                         SKIP\r
-    IPv6: Basic conn timeout test reflect on egress                          SKIP\r
-    IPv6: reflect egress, clear conn                                         SKIP\r
-    IPv6: reflect ingress, clear conn                                        SKIP\r
-    IPv6: Idle conn behind active conn, reflect on ingress                   SKIP\r
-    IPv6: Idle conn behind active conn, reflect on egress                    SKIP\r
-    Prepare for TCP session tests                                            SKIP\r
-    IPv4: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
-    IPv4: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
-    IPv4: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
-    IPv4: established TCP session (complete 3WHS), ref. on egress            SKIP\r
-    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
-    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
-    IPv6: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
-    IPv6: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
-    IPv6: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
-    IPv6: established TCP session (complete 3WHS), ref. on egress            SKIP\r
-    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
-    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
+    IP Sub Nets                                                              OK\r
 \r
 \r
-MPLS Tests\r
-``````````\r
+    ==============================================================================\r
+    IPv4 VLAN-0\r
+    ==============================================================================\r
+    IP VLAN-0                                                                OK\r
+\r
+    ==============================================================================\r
+    IPv4 Load-Balancing\r
+    ==============================================================================\r
+    IP Load-Balancing                                                        OK\r
+\r
+    ==============================================================================\r
+    IPv4 Deaggregate Routes\r
+    ==============================================================================\r
+    IP Deag Routes                                                           OK\r
+\r
+    ==============================================================================\r
+    IPv4 Input Exceptions\r
+    ==============================================================================\r
+    IP Input Exceptions                                                      OK\r
+\r
+    ==============================================================================\r
+    IPv4 Punt Police/Redirect\r
+    ==============================================================================\r
+    IP punt police and redirect                                              OK\r
+\r
+IPv4 VRF Multi-instance\r
+```````````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    MPLS-L2\r
+    IP4 VRF  Multi-instance Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    Virtual Private LAN Service                                              OK\r
-    Virtual Private Wire Service                                             OK\r
+    IP4 VRF  Multi-instance test 1 - create 5 BDs                            OK\r
+    IP4 VRF  Multi-instance test 2 - delete 2 VRFs                           OK\r
+    IP4 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
+    IP4 VRF  Multi-instance test 4 - delete 4 VRFs                           OK\r
+\r
+IPv6 Routing\r
+````````````\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    MPLS Test Case\r
+    IPv6 Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    MPLS Local Label Binding test                                            OK\r
-    MPLS Deagg                                                               OK\r
-    MPLS label imposition test                                               OK\r
-    MPLS Interface Receive                                                   OK\r
-    MPLS Multicast Head-end                                                  OK\r
-    MPLS IPv4 Multicast Tail                                                 OK\r
-    MPLS IPv6 Multicast Tail                                                 OK\r
-    MPLS Multicast Mid Point                                                 OK\r
-    MPLS label swap tests                                                    OK\r
-    MPLS Tunnel Tests                                                        OK\r
-    MPLS V4 Explicit NULL test                                               OK\r
-    MPLS V6 Explicit NULL test                                               OK\r
+    IPv6 FIB test                                                            OK\r
+    IPv6 Neighbour Solicitation Exceptions                                   OK\r
+    ND Duplicates                                                            OK\r
+    IPv6 Router Solicitation Exceptions                                      OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    MPLS PIC edge convergence\r
+    IPv6 Punt Police/Redirect\r
     ==============================================================================\r
     ==============================================================================\r
-    MPLS eBGP PIC edge convergence                                           OK\r
-    MPLS iBGP PIC edge convergence                                           OK\r
-    MPLSv6 eBGP PIC edge convergence                                         OK\r
+    IP6 punt police and redirect                                             OK\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    MPLS disabled\r
+    IPv6 disabled\r
     ==============================================================================\r
     ==============================================================================\r
-    MPLS Disabled                                                            OK\r
+    IP Disabled                                                              OK\r
+\r
+    ==============================================================================\r
+    IPv6 ND ProxyTest Case\r
+    ==============================================================================\r
+    IPv6 Proxy ND                                                            OK\r
+\r
+    ==============================================================================\r
+    IPv6 Load-Balancing\r
+    ==============================================================================\r
+    IPv6 Load-Balancing                                                      OK\r
+\r
+    ==============================================================================\r
+    IPv6 routes via NULL\r
+    ==============================================================================\r
+    IP NULL route                                                            OK\r
+\r
+    ==============================================================================\r
+    IPv6 Input Exceptions\r
+    ==============================================================================\r
+    IP6 Input Exceptions                                                     OK\r
 \r
 IPv6 VRF Multi-instance\r
 ```````````````````````\r
 \r
 IPv6 VRF Multi-instance\r
 ```````````````````````\r
@@ -579,8 +681,82 @@ IPv6 VRF Multi-instance
     IP6 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
     IP6 VRF  Multi-instance test 4 - reset 4 VRFs                            OK\r
 \r
     IP6 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
     IP6 VRF  Multi-instance test 4 - reset 4 VRFs                            OK\r
 \r
-L2XC Tests\r
+IRB Integrated Routing-Bridging\r
+```````````````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    IRB Test Case\r
+    ==============================================================================\r
+    IPv4 IRB test 1                                                          OK\r
+    IPv4 IRB test 2                                                          OK\r
+\r
+Kube-proxy\r
 ``````````\r
 ``````````\r
+::\r
+\r
+    ==============================================================================\r
+    Kube-proxy Test Case\r
+    ==============================================================================\r
+    Kube-proxy NAT44                                                         OK\r
+    Kube-proxy NAT46                                                         SKIP\r
+    Kube-proxy NAT64                                                         SKIP\r
+    Kube-proxy NAT66                                                         SKIP\r
+\r
+L2 FIB CRUD\r
+```````````\r
+::\r
+\r
+    ==============================================================================\r
+    L2 FIB Test Case\r
+    ==============================================================================\r
+    L2 FIB - program 100 + 100 MACs                                          OK\r
+    L2 FIB - program 100 + delete 12 MACs                                    OK\r
+    L2 FIB - flush all                                                       OK\r
+    L2 FIB - flush BD                                                        OK\r
+    L2 FIB - flush interface                                                 OK\r
+    L2 FIB - mac learning events                                             OK\r
+    L2 FIB - mac learning max macs in event                                  OK\r
+    L2 FIB - program 100 MACs                                                OK\r
+    L2 FIB - Program 10 MACs, learn 10                                       OK\r
+\r
+L2BD Multi-instance\r
+```````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    L2BD Multi-instance Test Case\r
+    ==============================================================================\r
+    L2BD Multi-instance test 1 - create 5 BDs                                OK\r
+    L2BD Multi-instance test 2 - update data of 5 BDs                        OK\r
+    L2BD Multi-instance test 3 - delete 2 BDs                                OK\r
+    L2BD Multi-instance test 4 - add 2 BDs                                   OK\r
+    L2BD Multi-instance test 5 - delete 5 BDs                                SKIP\r
+\r
+L2BD Switching\r
+``````````````\r
+::\r
+\r
+    ==============================================================================\r
+    L2BD Test Case\r
+    ==============================================================================\r
+    L2BD MAC learning dual-loop test                                         OK\r
+    L2BD MAC learning single-loop test                                       OK\r
+\r
+L2XC Multi-instance\r
+```````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    L2XC Multi-instance Test Case\r
+    ==============================================================================\r
+    L2XC Multi-instance test 1 - create 10 cross-connects                    OK\r
+    L2XC Multi-instance test 2 - delete 4 cross-connects                     OK\r
+    L2BD Multi-instance 3 - add new 4 cross-connects                         OK\r
+    L2XC Multi-instance test 4 - delete 10 cross-connects                    OK\r
+\r
+L2XC Switching\r
+``````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
@@ -589,8 +765,104 @@ L2XC Tests
     L2XC dual-loop test                                                      OK\r
     L2XC single-loop test                                                    OK\r
 \r
     L2XC dual-loop test                                                      OK\r
     L2XC single-loop test                                                    OK\r
 \r
-MFIB Tests\r
-``````````\r
+LISP Tunnels\r
+````````````\r
+::\r
+\r
+    ==============================================================================\r
+    Basic LISP test\r
+    ==============================================================================\r
+    Test case for basic encapsulation                                        OK\r
+\r
+Load Balancer\r
+`````````````\r
+::\r
+\r
+    ==============================================================================\r
+    Load Balancer Test Case\r
+    ==============================================================================\r
+    Load Balancer IP4 GRE4                                                   OK\r
+    Load Balancer IP4 GRE6                                                   OK\r
+    Load Balancer IP6 GRE4                                                   OK\r
+    Load Balancer IP6 GRE6                                                   OK\r
+\r
+MACIP Access Control\r
+````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    MACIP Tests\r
+    ==============================================================================\r
+    MACIP 10 ACLs each with 100+ entries                                     OK\r
+    MACIP 10 ACLs each with 100+ entries with IP4 traffic                    OK\r
+    MACIP 10 ACLs each with 100+ entries with IP6 traffic                    OK\r
+    MACIP ACL with 10 entries                                                OK\r
+    MACIP ACL with 100 entries                                               OK\r
+    MACIP ACL with 2 entries                                                 OK\r
+    MACIP ACL with 20 entries                                                OK\r
+    MACIP ACL with 5 entries                                                 OK\r
+    MACIP ACL with 50 entries                                                OK\r
+    MACIP 2 ACLs each with 100+ entries                                      OK\r
+    MACIP replace ACL                                                        OK\r
+    MACIP ACL delete intf with acl                                           OK\r
+\r
+    ==============================================================================\r
+    MACIP with IP6 traffic\r
+    ==============================================================================\r
+    IP6 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
+    IP6 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
+    IP6 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
+    IP6 MACIP oui_MAC|exactIP ACL bridged traffic                            OK\r
+    IP6 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
+    IP6 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
+    IP6 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
+    IP6 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
+    IP6 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
+    MACIP replace ACL with IP6 traffic                                       OK\r
+    IP6 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
+    IP6 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
+    IP6 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
+    IP6 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
+    IP6 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
+    IP6 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
+    IP6 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
+    IP6 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
+    IP6 MACIP wildcardMAC|wildIP ACL                                         OK\r
+\r
+    ==============================================================================\r
+    MACIP with IP4 traffic\r
+    ==============================================================================\r
+    IP4 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
+    IP4 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
+    IP4 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
+    IP4 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
+    IP4 MACIP ouiMAC|exactIP ACL bridged traffic                             OK\r
+    IP4 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
+    IP4 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
+    IP4 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
+    IP4 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
+    MACIP replace ACL with IP4 traffic                                       OK\r
+    IP4 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
+    IP4 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
+    IP4 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
+    IP4 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
+    IP4 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
+    IP4 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
+    IP4 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
+    IP4 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
+    IP4 MACIP wildcardMAC|wildIP ACL                                         OK\r
+\r
+MAP Softwires\r
+`````````````\r
+::\r
+\r
+    ==============================================================================\r
+    MAP Test Case\r
+    ==============================================================================\r
+    MAP-E                                                                    OK\r
+\r
+MFIB Multicast FIB\r
+``````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
@@ -598,155 +870,198 @@ MFIB Tests
     ==============================================================================\r
     MFIB Unit Tests                                                          OK\r
 \r
     ==============================================================================\r
     MFIB Unit Tests                                                          OK\r
 \r
-IP Multicast Tests\r
-``````````````````\r
+MPLS Switching\r
+``````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    IP Multicast Test Case\r
+    MPLS-L2\r
     ==============================================================================\r
     ==============================================================================\r
-    IPv6 Multicast Replication                                               OK\r
-    IPv6 Multicast Replication in non-default table                          OK\r
-    IP Multicast Replication                                                 OK\r
-    IP Multicast Connected Source check                                      OK\r
-    IP Multicast Signal                                                      OK\r
-    IP Multicast Replication in non-default table                            OK\r
+    Virtual Private LAN Service                                              OK\r
+    Virtual Private Wire Service                                             OK\r
+\r
+    ==============================================================================\r
+    MPLS Test Case\r
+    ==============================================================================\r
+    MPLS Local Label Binding test                                            OK\r
+    MPLS Deagg                                                               OK\r
+    MPLS label imposition test                                               OK\r
+    MPLS Interface Receive                                                   OK\r
+    MPLS Multicast Head-end                                                  OK\r
+    MPLS IPv4 Multicast Tail                                                 OK\r
+    MPLS IPv6 Multicast Tail                                                 OK\r
+    MPLS Multicast Mid Point                                                 OK\r
+    MPLS label swap tests                                                    OK\r
+    MPLS Tunnel Tests                                                        OK\r
+    MPLS V4 Explicit NULL test                                               OK\r
+    MPLS V6 Explicit NULL test                                               OK\r
+\r
+    ==============================================================================\r
+    MPLS PIC edge convergence\r
+    ==============================================================================\r
+    MPLS eBGP PIC edge convergence                                           OK\r
+    MPLS iBGP PIC edge convergence                                           OK\r
+    MPLSv6 eBGP PIC edge convergence                                         OK\r
+\r
+    ==============================================================================\r
+    MPLS disabled\r
+    ==============================================================================\r
+    MPLS Disabled                                                            OK\r
+\r
+NAT44\r
+`````\r
+::\r
+\r
+    ==============================================================================\r
+    NAT44 Test Cases\r
+    ==============================================================================\r
+    Delete NAT44 session                                                     OK\r
+    NAT44 dynamic translation test                                           OK\r
+    NAT44 handling of client packets with TTL=1                              OK\r
+    NAT44 handling of error responses to client packets with TTL=2           OK\r
+    NAT44 handling of server packets with TTL=1                              OK\r
+    NAT44 handling of error responses to server packets with TTL=2           OK\r
+    NAT44 interfaces without configured IP address                           OK\r
+    NAT44 forwarding test                                                    OK\r
+    NAT44 translate fragments arriving in order                              OK\r
+    NAT44 translate fragments arriving out of order                          OK\r
+    NAT44 hairpinning - 1:1 NAPT                                             OK\r
+    NAT44 hairpinning - 1:1 NAT                                              OK\r
+    1:1 NAT translate packet with unknown protocol - hairpinning             OK\r
+    NAT44 translate packet with unknown protocol - hairpinning               OK\r
+    Identity NAT                                                             OK\r
+    NAT44 multiple inside interfaces with overlapping address space          OK\r
+    Acquire NAT44 addresses from interface                                   OK\r
+    Identity NAT with addresses from interface                               OK\r
+    Static mapping with addresses from interface                             OK\r
+    IPFIX logging NAT addresses exhausted                                    OK\r
+    IPFIX logging NAT44 session created/delted                               OK\r
+    MAX translations per user - recycle the least recently used              OK\r
+    NAT44 multiple non-overlapping address space inside interfaces           OK\r
+    One armed NAT44                                                          OK\r
+    NAT44 interface output feature (in2out postrouting)                      OK\r
+    NAT44 interface output feature hairpinning (in2out postrouting)          OK\r
+    NAT44 interface output feature VRF aware (in2out postrouting)            OK\r
+    Ping internal host from outside network                                  OK\r
+    Ping NAT44 out interface from outside network                            OK\r
+    NAT44 add pool addresses to FIB                                          OK\r
+    Port restricted NAT44 (MAP-E CE)                                         OK\r
+    NAT44 fragments hairpinning                                              OK\r
+    NAT44 set/get virtual fragmentation reassembly                           OK\r
+    1:1 NAT initialized from inside network                                  OK\r
+    NAT44 interfaces without configured IP address - 1:1 NAT                 OK\r
+    NAT44 local service load balancing                                       OK\r
+    1:1 NAT initialized from outside network                                 OK\r
+    1:1 NAT translate packet with unknown protocol                           OK\r
+    1:1 NAT VRF awareness                                                    OK\r
+    1:1 NAPT initialized from inside network                                 OK\r
+    NAT44 interfaces without configured IP address - 1:1 NAPT                OK\r
+    1:1 NAPT initialized from outside network                                OK\r
+    Twice NAT44                                                              OK\r
+    Acquire twice NAT44 addresses from interface                             OK\r
+    Twice NAT44 local service load balancing                                 OK\r
+    NAT44 translate packet with unknown protocol                             OK\r
+    NAT44 tenant VRF independent address pool mode                           OK\r
+    NAT44 tenant VRF aware address pool mode                                 OK\r
 \r
 \r
-Classifier\r
-``````````\r
-::\r
-#######\r
     ==============================================================================\r
     ==============================================================================\r
-    Classifier Test Case\r
+    Deterministic NAT Test Cases\r
     ==============================================================================\r
     ==============================================================================\r
-    IP ACL test                                                              OK\r
-    MAC ACL test                                                             OK\r
-    IP PBR test                                                              OK\r
+    Deterministic NAT translation test (TCP, UDP, ICMP)                      OK\r
+    NAT plugin run deterministic mode                                        OK\r
+    Deterministic NAT multiple users                                         OK\r
+    Deterministic NAT maximum sessions per user limit                        SKIP\r
+    Deterministic NAT session timeouts                                       SKIP\r
+    Set deterministic NAT timeouts                                           OK\r
+    Deterministic NAT TCP session close from inside network                  OK\r
+    Deterministic NAT TCP session close from outside network                 OK\r
 \r
 \r
-VXLAN Tests\r
-```````````\r
+NAT64\r
+`````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    VXLAN Test Case\r
+    NAT64 Test Cases\r
     ==============================================================================\r
     ==============================================================================\r
-    Decapsulation test                                                       OK\r
-    Encapsulation test                                                       OK\r
-    Multicast flood test                                                     OK\r
-    Multicast receive test                                                   OK\r
-    Unicast flood test                                                       OK\r
+    NAT64 dynamic translation test                                           OK\r
+    NAT64 translate fragments arriving in order                              OK\r
+    NAT64 translate fragments arriving out of order                          OK\r
+    NAT64 hairpinning                                                        OK\r
+    NAT64 translate packet with unknown protocol - hairpinning               OK\r
+    NAT64 ICMP Error message translation                                     OK\r
+    Enable/disable NAT64 feature on the interface                            OK\r
+    Acquire NAT64 pool addresses from interface                              OK\r
+    One armed NAT64                                                          OK\r
+    Add/delete address to NAT64 pool                                         OK\r
+    NAT64 Network-Specific Prefix                                            OK\r
+    NAT64 fragments hairpinning                                              OK\r
+    NAT64 session timeout                                                    SKIP\r
+    Set NAT64 timeouts                                                       OK\r
+    NAT64 static translation test                                            OK\r
+    Add/delete static BIB entry                                              OK\r
+    NAT64 translate packet with unknown protocol                             OK\r
 \r
 \r
-VXLAN-GPE Tests\r
-```````````\r
+P2P Ethernet Subinterface\r
+`````````````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    VXLAN-GPE Test Case\r
+    P2P Ethernet tests\r
     ==============================================================================\r
     ==============================================================================\r
-    Decapsulation test                                                       SKIP\r
-    Encapsulation test                                                       SKIP\r
-    Multicast flood test                                                     SKIP\r
-    Multicast receive test                                                   SKIP\r
-    Unicast flood test                                                       SKIP\r
-\r
-L2 FIB CRUD\r
-```````````\r
-::\r
+    delete/create p2p subif                                                  OK\r
+    create 1k of p2p subifs                                                  OK\r
 \r
     ==============================================================================\r
 \r
     ==============================================================================\r
-    L2 FIB Test Case\r
+    P2P Ethernet IPv4 tests\r
     ==============================================================================\r
     ==============================================================================\r
-    L2 FIB test 1 - program 100 MAC addresses                                OK\r
-    L2 FIB test 2 - delete 12 MAC entries                                    OK\r
-    L2 FIB test 3 - program new 100 MAC addresses                            OK\r
-    L2 FIB test 4 - delete 160 MAC entries                                   OK\r
-    L2 FIB test 5 - Program 10 new MAC entries, learn 10                     OK\r
-    L2 FIB test 6 - flush first interface                                    OK\r
-    L2 FIB test 7 - flush bd_id                                              OK\r
-    L2 FIB test 8 - flush all                                                OK\r
-    L2 FIB test 9 - mac learning events                                      OK\r
-\r
-ARP Tests\r
-`````````\r
-::\r
+    receive ipv4 packet via p2p subinterface                                 OK\r
+    route rx packet not matching p2p subinterface                            OK\r
+    send ip4 packet via p2p subinterface                                     OK\r
+    drop tx ip4 packet not matching p2p subinterface                         OK\r
 \r
     ==============================================================================\r
 \r
     ==============================================================================\r
-    ARP Test Case\r
+    P2P Ethernet IPv6 tests\r
     ==============================================================================\r
     ==============================================================================\r
-    ARP                                                                      OK\r
-    MPLS                                                                     OK\r
-    Proxy ARP                                                                OK\r
+    receive ipv6 packet via p2p subinterface                                 OK\r
+    drop rx packet not matching p2p subinterface                             OK\r
+    route rx ip6 packet not matching p2p subinterface                        OK\r
+    send packet via p2p subinterface                                         OK\r
+    drop tx ip6 packet not matching p2p subinterface                         OK\r
+    standard routing without p2p subinterfaces                               OK\r
 \r
 \r
-L2BD Tests\r
-``````````\r
+PPPoE Encapsulation\r
+```````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    L2BD Test Case\r
+    PPPoE Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    L2BD MAC learning dual-loop test                                         OK\r
-    L2BD MAC learning single-loop test                                       OK\r
+    PPPoE Add Same Session Twice Test                                        OK\r
+    PPPoE Decap Test                                                         OK\r
+    PPPoE Decap Multiple Sessions Test                                       OK\r
+    PPPoE Delete Same Session Twice Test                                     OK\r
+    PPPoE Encap Test                                                         OK\r
+    PPPoE Encap Multiple Sessions Test                                       OK\r
 \r
 \r
-MACIP Access Control Tests\r
-``````````\r
+SPAN Switch Port Analyzer\r
+`````````````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    MACIP Test Case\r
+    SPAN Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    IP4 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
-    MACIP 10 ACLs each with 100+ entries                                     OK\r
-    MACIP 10 ACLs each with 100+ entries with IP4 traffic                    OK\r
-    MACIP 10 ACLs each with 100+ entries with IP6 traffic                    OK\r
-    MACIP ACL with 10 entries                                                OK\r
-    MACIP ACL with 100 entries                                               OK\r
-    MACIP ACL with 2 entries                                                 OK\r
-    MACIP ACL with 20 entries                                                OK\r
-    MACIP ACL with 5 entries                                                 OK\r
-    MACIP ACL with 50 entries                                                OK\r
-    MACIP 2 ACLs each with 100+ entries                                      OK\r
-    IP4 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
-    IP4 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
-    IP4 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
-    IP4 MACIP ouiMAC|exactIP ACL bridged traffic                             OK\r
-    IP4 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
-    IP4 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
-    IP4 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
-    IP4 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
-    IP6 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
-    IP6 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
-    IP6 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
-    IP6 MACIP oui_MAC|exactIP ACL bridged traffic                            OK\r
-    IP6 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
-    IP6 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
-    IP6 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
-    IP6 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
-    IP6 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
-    MACIP replace ACL                                                        OK\r
-    MACIP replace ACL with IP4 traffic                                       OK\r
-    MACIP replace ACL with IP6 traffic                                       OK\r
-    IP4 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
-    IP4 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
-    IP4 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
-    IP4 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
-    IP4 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
-    IP4 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
-    IP4 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
-    IP4 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
-    IP4 MACIP wildcardMAC|wildIP ACL                                         OK\r
-    IP6 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
-    IP6 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
-    IP6 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
-    IP6 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
-    IP6 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
-    IP6 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
-    IP6 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
-    IP6 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
-    IP6 MACIP wildcardMAC|wildIP ACL                                         OK\r
-    MACIP ACL delete intf with acl                                           OK\r
+    SPAN device rx mirror                                                    OK\r
+    SPAN l2 broadcast mirror                                                 OK\r
+    SPAN l2 rx tx mirror                                                     OK\r
+    SPAN l2 tx mirror                                                        OK\r
+    SPAN l2 rx mirror                                                        OK\r
+    SPAN l2 rx mirror into 1ad subif+vtr                                     OK\r
+    SPAN l2 rx mirror into 1q subif+vtr                                      OK\r
+    SPAN l2 rx mirror into gre-subif+vtr                                     OK\r
+    SPAN l2 rx mirror into vxlan                                             OK\r
 \r
 \r
-SRv6 Tests\r
-``````````\r
+SRv6 Routing\r
+````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
@@ -765,23 +1080,29 @@ SRv6 Tests
     Test SRv6 Transit.Encaps behavior for IPv4.                              OK\r
     Test SRv6 Transit.Encaps behavior for L2.                                SKIP\r
     Test SRv6 Transit.Insert behavior (IPv6 only).                           OK\r
     Test SRv6 Transit.Encaps behavior for IPv4.                              OK\r
     Test SRv6 Transit.Encaps behavior for L2.                                SKIP\r
     Test SRv6 Transit.Insert behavior (IPv6 only).                           OK\r
+    Test SRv6 Transit.Insert behavior (IPv6 only).                           OK\r
 \r
 \r
-PPPoE Tests\r
-```````````\r
+TCP/IP Stack\r
+````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    PPPoE Test Case\r
+    TCP Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    PPPoE Add Same Session Twice Test                                        OK\r
-    PPPoE Decap Test                                                         OK\r
-    PPPoE Decap Multiple Sessions Test                                       OK\r
-    PPPoE Delete Same Session Twice Test                                     OK\r
-    PPPoE Encap Test                                                         OK\r
-    PPPoE Encap Multiple Sessions Test                                       OK\r
+    TCP builtin client/server transfer                                       OK\r
+    TCP Unit Tests                                                           OK\r
 \r
 \r
-VTR VLAN Tag Rewrite Tests\r
-``````````````````````````\r
+UDP Stack\r
+`````````\r
+::\r
+\r
+    ==============================================================================\r
+    UDP Encap Test Case\r
+    ==============================================================================\r
+    UDP Encap test                                                           OK\r
+\r
+VTR VLAN Tag Rewrites\r
+`````````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
@@ -807,71 +1128,12 @@ VTR VLAN Tag Rewrite Tests
     1Q VTR translate 1 -> 1 test                                             OK\r
     1Q VTR translate 1 -> 2 test                                             OK\r
 \r
     1Q VTR translate 1 -> 1 test                                             OK\r
     1Q VTR translate 1 -> 2 test                                             OK\r
 \r
-ARP Tests\r
-`````````\r
-::\r
-\r
-    ==============================================================================\r
-    ARP Test Case\r
-    ==============================================================================\r
-    ARP                                                                      OK\r
-    ARP Duplicates                                                           OK\r
-    ARP Static                                                               OK\r
-    ARP reply with VRRP virtual src hw addr                                  OK\r
-    MPLS                                                                     OK\r
-    Proxy ARP                                                                OK\r
-    Interface Mirror Proxy ARP                                               OK\r
-    ==============================================================================\r
-    L2BD arp termination Test Case\r
-    ==============================================================================\r
-    L2BD arp term - add 5 hosts, verify arp responses                        OK\r
-    L2BD arp term - delete 3 hosts, verify arp responses                     OK\r
-    L2BD arp term - recreate BD1, readd 3 hosts, verify arp responses        OK\r
-    L2BD arp term - 2 IP4 addrs per host                                     OK\r
-    L2BD arp term - create and update 10 IP4-mac pairs                       OK\r
-    L2BD arp/ND term - hosts with both ip4/ip6                               OK\r
-    L2BD ND term - Add and Del hosts, verify ND replies                      OK\r
-    L2BD ND term - Add and update IP+mac, verify ND replies                  OK\r
-    L2BD arp term - send garps, verify arp event reports                     OK\r
-    L2BD arp term - send duplicate garps, verify suppression                 OK\r
-    L2BD arp term - disable ip4 arp events,send garps, verify no events      OK\r
-    L2BD ND term - send NS packets verify reports                            OK\r
-    L2BD ND term - send duplicate ns, verify suppression                     OK\r
-    L2BD ND term - disable ip4 arp events,send ns, verify no events          OK\r
-\r
-P2P Ethernet Subinterface ests\r
-``````````````````````````````\r
-::\r
-\r
-    ==============================================================================\r
-    P2P Ethernet tests\r
-    ==============================================================================\r
-    delete/create p2p subif                                                  OK\r
-    create 100k of p2p subifs                                                SKIP\r
-    create 1k of p2p subifs                                                  OK\r
-    ==============================================================================\r
-    P2P Ethernet IPv4 tests\r
-    ==============================================================================\r
-    receive ipv4 packet via p2p subinterface                                 OK\r
-    route rx packet not matching p2p subinterface                            OK\r
-    send ip4 packet via p2p subinterface                                     OK\r
-    drop tx ip4 packet not matching p2p subinterface                         OK\r
-    ==============================================================================\r
-    P2P Ethernet IPv6 tests\r
-    ==============================================================================\r
-    receive ipv6 packet via p2p subinterface                                 OK\r
-    drop rx packet not matching p2p subinterface                             OK\r
-    route rx ip6 packet not matching p2p subinterface                        OK\r
-    send packet via p2p subinterface                                         OK\r
-    drop tx ip6 packet not matching p2p subinterface                         OK\r
-    standard routing without p2p subinterfaces                               OK\r
-\r
-GTPU Test Case\r
-``````````````\r
+VXLAN Tunnels\r
+`````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    GTPU Test Case\r
+    VXLAN Test Case\r
     ==============================================================================\r
     Decapsulation test                                                       OK\r
     Encapsulation test                                                       OK\r
     ==============================================================================\r
     Decapsulation test                                                       OK\r
     Encapsulation test                                                       OK\r
@@ -879,38 +1141,38 @@ GTPU Test Case
     Multicast receive test                                                   OK\r
     Unicast flood test                                                       OK\r
 \r
     Multicast receive test                                                   OK\r
     Unicast flood test                                                       OK\r
 \r
-Other Tests\r
-```````````\r
+VXLAN-GPE Tunnels\r
+`````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    VAPI test\r
+    VXLAN-GPE Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    run C VAPI tests                                                         SKIP\r
-    run C++ VAPI tests                                                       SKIP\r
+    Decapsulation test                                                       SKIP\r
+    Encapsulation test                                                       SKIP\r
+    Multicast flood test                                                     SKIP\r
+    Multicast receive test                                                   SKIP\r
+    Unicast flood test                                                       SKIP\r
+\r
+Other Tests\r
+```````````\r
+::\r
+\r
     ==============================================================================\r
     Ping Test Case\r
     ==============================================================================\r
     basic ping test                                                          OK\r
     burst ping test                                                          OK\r
     ==============================================================================\r
     Ping Test Case\r
     ==============================================================================\r
     basic ping test                                                          OK\r
     burst ping test                                                          OK\r
+\r
+    ==============================================================================\r
+    Session Test Case\r
+    ==============================================================================\r
+    Session Unit Tests                                                       OK\r
+\r
     ==============================================================================\r
     Template verification, timer tests\r
     ==============================================================================\r
     timer less than template timeout                                         OK\r
     timer greater than template timeout                                      OK\r
     verify cflow packet fields                                               OK\r
     ==============================================================================\r
     Template verification, timer tests\r
     ==============================================================================\r
     timer less than template timeout                                         OK\r
     timer greater than template timeout                                      OK\r
     verify cflow packet fields                                               OK\r
-    ==============================================================================\r
-    JVPP Core Test Case\r
-    ==============================================================================\r
-    JVPP Acl Callback Api Test Case                                          OK\r
-    JVPP Acl Future Api Test Case                                            OK\r
-    JVPP Core Callback Api Test Case                                         OK\r
-    JVPP Core Future Api Test Case                                           OK\r
-    JVPP Ioamexport Callback Api Test Case                                   OK\r
-    JVPP Ioamexport Future Api Test Case                                     OK\r
-    JVPP Ioampot Callback Api Test Case                                      OK\r
-    JVPP Ioampot Future Api Test Case                                        OK\r
-    JVPP Ioamtrace Callback Api Test Case                                    OK\r
-    JVPP Ioamtrace Future Api Test Case                                      OK\r
-    JVPP Snat Callback Api Test Case                                         OK\r
-    JVPP Snat Future Api Test Case                                           OK
\ No newline at end of file
+\r
index 90c582c..9472680 100644 (file)
@@ -35,40 +35,53 @@ Unit Tests Coverage
 Following VPP functional test areas are covered in VPP unit test code included\r
 in VPP rls1710 with results listed in this report:\r
 \r
 Following VPP functional test areas are covered in VPP unit test code included\r
 in VPP rls1710 with results listed in this report:\r
 \r
-- ARP - ARP, Proxy ARP.\r
-- ACL plugin - stateful and stateless security-groups access-control-lists.\r
-- BFD IPv4 - Bidirectional Forwarding Detection - baseline, APIs, authorization, authentication.\r
-- BFD IPv6 - Bidirectional Forwarding Detection - baseline, APIs, authorization, authentication.\r
+- ACL Security - stateful and stateless security-groups access-control-lists.\r
+- APIs - VAPI, VOM, PAPI, JVPP.\r
+- ARP - ARP, proxy ARP, static arp.\r
+- BFD - API, Authentication, Authentication Change, CLI.\r
+- BFD IPv4 - sessions operation.\r
+- BFD IPv6 - sessions operation.\r
+- BIER - Bit Indexed Explicit Replication.\r
 - Classifier - classification with IP ACL, MAC ACL, IP PBR.\r
 - Classifier - classification with IP ACL, MAC ACL, IP PBR.\r
+- Container Integration - IPv4, IPv6 local-spoof connectivity tests.\r
 - CRUD Loopback - create, read, update, delete Loopback interfaces.\r
 - CRUD Loopback - create, read, update, delete Loopback interfaces.\r
-- Deterministic NAT - Carrier Grade NAT tests.\r
-- DHCP - DHCPv4 and DHCPv6 Proxy.\r
+- DHCP - DHCPv4/v6 Client and Proxy.\r
+- Distributed Virtual Router.\r
+- DS-Lite Softwire - softwire termination.\r
 - FIB - baseline and scale tests.\r
 - FIB - baseline and scale tests.\r
-- Flow-per-packet plugin - collect and report L2 and IP4 flow statistics.\r
-- Flowprobe tests.\r
-- GRE - GRE IPv4/IPv6 tunnel, L2, VRF tests.\r
-- GTPU - baseline GTPU tests.\r
-- IP Multicast - IPv4/IPv6 multicast replication, connected source check.\r
+- Flowprobe.\r
+- Geneve Tunnels.\r
+- GRE Tunnels - GRE IPv4/IPv6 tunnel, L2, VRF tests.\r
+- GTPU Tunnels - baseline GTPU tests.\r
+- IP Multicast Routing - IPv4/IPv6 multicast replication, connected source check.\r
+- IPSec - baseline IPSec sanity tests.\r
+- IPv4 FIB CRUD - add/update/delete IPv4 routes.\r
+- IPv4 Routing.\r
 - IP4 VRF Multi-instance - create, read, update, delete and verify IPv4 VRFs.\r
 - IP4 VRF Multi-instance - create, read, update, delete and verify IPv4 VRFs.\r
+- IPv6 Routing - baseline FIB operations, NS/RS exception handling.\r
 - IP6 VRF Multi-instance - create, read, update, delete and verify IPv6 VRFs.\r
 - IP6 VRF Multi-instance - create, read, update, delete and verify IPv6 VRFs.\r
-- IPv4 - baseline FIB tests.\r
-- IPv4 FIB CRUD - add/update/delete IPv4 routes.\r
-- IPv6 - baseline FIB operations, NS/RS exception handling.\r
-- IRB - Integrated Routing and Bridging tests.\r
+- IRB Integrated Routing-Bridging.\r
+- Kube-proxy - data plane NAT tests.\r
 - L2 FIB CRUD - add/update/delete L2 MAC entries.\r
 - L2 FIB CRUD - add/update/delete L2 MAC entries.\r
-- L2BD - L2 Bridge-Domain baseline tests incl. single- and dual-loop.\r
-- L2XC - L2 cross-connect baseline tests incl. single- and dual-loop.\r
+- L2BD Multi-instance.\r
+- L2BD Switching - L2 Bridge-Domain baseline tests incl. single- and dual-loop.\r
 - L2XC Multi-instance - L2 cross-connect multi-instance tests.\r
 - L2XC Multi-instance - L2 cross-connect multi-instance tests.\r
-- LISP - basic LISP tests.\r
+- L2XC Switching - L2 cross-connect baseline tests incl. single- and dual-loop.\r
+- LISP Tunnels - basic LISP tests.\r
 - Load Balancer - IP4 GRE4, IP4 GRE6, IP6 GRE4, IP6 GRE6.\r
 - Load Balancer - IP4 GRE4, IP4 GRE6, IP6 GRE4, IP6 GRE6.\r
-- MACIP - ingress access control for IPv4, IPv6 with L2BDP and IP routing.\r
-- MFIB Unit.\r
-- MPLS - MPLS baseline tests.\r
-- MPLS PIC edge convergence - prefix independent convergence tests for MPLS PE.\r
-- NAT44 - NAT44 tests, IPFIX logging, VRF awareness.\r
+- MACIP Access Control - ingress access control for IPv4, IPv6 with L2BDP and IP routing.\r
+- MAP Softwires - softwire termination.\r
+- MFIB Multicast FIB.\r
+- MPLS Switching - MPLS baseline, prefix independent convergence for MPLS PE.\r
+- NAT44 - NAT44 tests, IPFIX logging, VRF awareness, deterministic CGNAT.\r
 - NAT64 - NAT64 static and dynamic translation tests.\r
 - NAT64 - NAT64 static and dynamic translation tests.\r
-- SPAN - Switched Port Analyzer packet mirroring.\r
-- SRv6 - Segment Routing IPv6 tests.\r
-- VTR Test Case - VLAN tag manipulation tests.\r
-- VXLAN - baseline VXLAN tunneling.\r
-- VXLAN-GPE - baseline VXLAN-GPE tunneling tests including multicast.\r
+- P2P Ethernet Subinterface.\r
+- PPPoE Encapsulation.\r
+- SPAN Switch Port Analyzer - packet mirroring.\r
+- SRv6 Routing - Segment Routing IPv6 tests.\r
+- TCP/IP Stack - unit tests, builtin client/server transfers.\r
+- UDP Stack - unit tests.\r
+- VTR VLAN Tag Rewrites - VLAN tag rewrite tests.\r
+- VXLAN Tunnels - baseline VXLAN tests including multicast.\r
+- VXLAN-GPE Tunnels - baseline VXLAN-GPE tunneling including multicast.\r
+- Other Tests - ping, session, template verification, timer tests.\r