CSIT-907: process wrk results in PAL
[csit.git] / docs / report / detailed_test_results / vpp_unittest_results / vpp_unittest_results.rst
index 4a56b07..f20bb98 100644 (file)
@@ -8,14 +8,43 @@ CRUD Loopback
     test_crud (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
     test_down (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
 \r
     test_crud (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
     test_down (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
 \r
-Flow-per-packet plugin\r
-``````````````````````\r
+Flowprobe feature\r
+`````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    Flow-per-packet plugin: test both L2 and IP4 reporting\r
+    Re-enable Flowprobe feature\r
+    ==============================================================================\r
+    disable flowprobe feature after first packets and re-enable              SKIP\r
+    ==============================================================================\r
+    collect information on Ethernet, IP4 and IP6 datapath (no timers)\r
+    ==============================================================================\r
+    no timers, one CFLOW packet, 9 Flows inside                              OK\r
+    no timers, two CFLOW packets (mtu=256), 3 Flows in each                  OK\r
+    L2 data on IP4 datapath                                                  OK\r
+    L2 data on IP6 datapath                                                  OK\r
+    L2 data on L2 datapath                                                   OK\r
+    L3 data on IP4 datapath                                                  OK\r
+    L3 data on IP6 datapath                                                  OK\r
+    L3 data on L2 datapath                                                   OK\r
+    L4 data on IP4 datapath                                                  OK\r
+    L4 data on IP6 datapath                                                  OK\r
+    L4 data on L2 datapath                                                   OK\r
+    verify templates on IP6 datapath                                         OK\r
+    verify templates on IP4 datapath                                         OK\r
+    verify template on L2 datapath                                           OK\r
+    ==============================================================================\r
+    Disable Flowprobe feature\r
+    ==============================================================================\r
+    disable flowprobe feature after first packets                            SKIP\r
     ==============================================================================\r
     ==============================================================================\r
-    Flow per packet L3 test                                                  OK\r
+    Re-enable IPFIX\r
+    ==============================================================================\r
+    disable IPFIX after first packets and re-enable after few packets        SKIP\r
+    ==============================================================================\r
+    Disable IPFIX\r
+    ==============================================================================\r
+    disable IPFIX after first packets                                        SKIP\r
 \r
 DHCP\r
 ````\r
 \r
 DHCP\r
 ````\r
@@ -25,10 +54,11 @@ DHCP
     DHCP Test Case\r
     ==============================================================================\r
     DHCPv6 Proxy                                                             OK\r
     DHCP Test Case\r
     ==============================================================================\r
     DHCPv6 Proxy                                                             OK\r
+    DHCP Client                                                              OK\r
     DHCPv4 Proxy                                                             OK\r
 \r
     DHCPv4 Proxy                                                             OK\r
 \r
-IP4 VRF Multi-instance\r
-``````````````````````\r
+IPv4 VRF Multi-instance\r
+```````````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
@@ -51,22 +81,14 @@ Load Balancer
     Load Balancer IP6 GRE4                                                   OK\r
     Load Balancer IP6 GRE6                                                   OK\r
 \r
     Load Balancer IP6 GRE4                                                   OK\r
     Load Balancer IP6 GRE6                                                   OK\r
 \r
-BFD IPv4\r
-````````\r
-\r
+FIB Tests\r
+`````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD)\r
+    FIB Test Case\r
     ==============================================================================\r
     ==============================================================================\r
-    verify session goes down after inactivity                                OK\r
-    hold BFD session up                                                      OK\r
-    immediately honor remote min rx reduction                                OK\r
-    large remote RequiredMinRxInterval                                       OK\r
-    bring BFD session down                                                   OK\r
-    bring BFD session up                                                     OK\r
-    verify slow periodic control frames while session down                   OK\r
-    no packets when zero BFD RemoteMinRxInterval                             OK\r
+    FIB Unit Tests                                                           OK\r
 \r
 BFD IPv6\r
 ````````\r
 \r
 BFD IPv6\r
 ````````\r
@@ -75,57 +97,120 @@ BFD IPv6
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) (IPv6)\r
     ==============================================================================\r
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) (IPv6)\r
     ==============================================================================\r
-    hold BFD session up                                                      OK\r
-    bring BFD session up                                                     OK\r
+    echo function used                                                       SKIP\r
+    echo packets looped back                                                 SKIP\r
+    hold BFD session up                                                      SKIP\r
+    interface with bfd session deleted                                       SKIP\r
+    bring BFD session up                                                     SKIP\r
+    bring BFD session up - first frame looked up by address pair             SKIP\r
+    ==============================================================================\r
+    BFD-FIB interactions (IPv6)\r
+    ==============================================================================\r
+    BFD-FIB interactions                                                     SKIP\r
 \r
 \r
-BFD API tests\r
-`````````````\r
+BFD authentication\r
+``````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    Bidirectional Forwarding Detection (BFD) (SHA1 auth)\r
+    ==============================================================================\r
+    hold BFD session up                                                      SKIP\r
+    hold BFD session up - meticulous auth                                    SKIP\r
+    session is not brought down by unauthenticated msg                       SKIP\r
+    session is not brought down by msg with non-existent key-id              SKIP\r
+    session is not brought down by msg with wrong auth type                  SKIP\r
+    simulate remote peer restart and resynchronization                       SKIP\r
+    session is not kept alive by msgs with bad sequence numbers              SKIP\r
+    bring BFD session up                                                     SKIP\r
+\r
+BFD CLI\r
+````````\r
+::\r
+\r
+    ==============================================================================\r
+    Bidirectional Forwarding Detection (BFD) (CLI)\r
+    ==============================================================================\r
+    create/modify/delete IPv4 BFD UDP session                                SKIP\r
+    create/modify/delete IPv6 BFD UDP session                                SKIP\r
+    create/modify/delete IPv6 BFD UDP session (authenticated)                SKIP\r
+    create/modify/delete IPv4 BFD UDP session (authenticated)                SKIP\r
+    put session admin-up and admin-down                                      SKIP\r
+    turn authentication on and off                                           SKIP\r
+    turn authentication on and off (delayed)                                 SKIP\r
+    set/delete meticulous SHA1 auth key                                      SKIP\r
+    set/delete SHA1 auth key                                                 SKIP\r
+    set/del udp echo source                                                  SKIP\r
+    show commands                                                            SKIP\r
+\r
+BFD API\r
+````````\r
 ::\r
 \r
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) - API\r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) - API\r
     ==============================================================================\r
-    activate SHA1 authentication                                             OK\r
-    create BFD session using non-existent SHA1 (negative case)               OK\r
-    create a BFD session                                                     OK\r
-    create IPv6 BFD session                                                  OK\r
-    create a BFD session (SHA1)                                              OK\r
-    add SHA1 keys                                                            OK\r
-    test_change_key (test_bfd.BFDAPITestCase)                                OK\r
-    deactivate SHA1 authentication                                           OK\r
-    create the same BFD session twice (negative case)                        OK\r
-    create the same BFD session twice (negative case) (SHA1)                 OK\r
-    share single SHA1 key between multiple BFD sessions                      OK\r
-\r
-BFD authorization\r
-`````````````````\r
+    activate SHA1 authentication                                             SKIP\r
+    create BFD session using non-existent SHA1 (negative case)               SKIP\r
+    create a BFD session                                                     SKIP\r
+    create IPv6 BFD session                                                  SKIP\r
+    create a BFD session (SHA1)                                              SKIP\r
+    add SHA1 keys                                                            SKIP\r
+    change SHA1 key                                                          SKIP\r
+    deactivate SHA1 authentication                                           SKIP\r
+    create the same BFD session twice (negative case)                        SKIP\r
+    create the same BFD session twice (negative case) (SHA1)                 SKIP\r
+    modify BFD session parameters                                            SKIP\r
+    share single SHA1 key between multiple BFD sessions                      SKIP\r
+\r
+BFD authentication change\r
+`````````````````````````\r
 ::\r
 \r
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) (changing auth)\r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
     Bidirectional Forwarding Detection (BFD) (changing auth)\r
     ==============================================================================\r
-    change auth key without disturbing session state (delayed)               OK\r
-    change auth key without disturbing session state (immediate)             OK\r
-    turn auth off without disturbing session state (delayed)                 OK\r
-    turn auth off without disturbing session state (immediate)               OK\r
-    turn auth on without disturbing session state (delayed)                  OK\r
-    turn auth on without disturbing session state (immediate)                OK\r
+    change auth key without disturbing session state (delayed)               SKIP\r
+    change auth key without disturbing session state (immediate)             SKIP\r
+    turn auth off without disturbing session state (delayed)                 SKIP\r
+    turn auth off without disturbing session state (immediate)               SKIP\r
+    turn auth on without disturbing session state (delayed)                  SKIP\r
+    turn auth on without disturbing session state (immediate)                SKIP\r
+\r
+BFD IPv4\r
+````````\r
 \r
 \r
-BFD authentication\r
-``````````````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    Bidirectional Forwarding Detection (BFD) (SHA1 auth)\r
+    Bidirectional Forwarding Detection (BFD)\r
     ==============================================================================\r
     ==============================================================================\r
-    hold BFD session up                                                      OK\r
-    hold BFD session up - meticulous auth                                    OK\r
-    session is not brought down by unauthenticated msg                       OK\r
-    session is not brought down by msg with non-existent key-id              OK\r
-    session is not brought down by msg with wrong auth type                  OK\r
-    simulate remote peer restart and resynchronization                       OK\r
-    session is not kept alive by msgs with bad seq numbers                   OK\r
-    bring BFD session up                                                     OK\r
+    put session admin-up and admin-down                                      SKIP\r
+    configuration change while peer in demand mode                           SKIP\r
+    verify session goes down after inactivity                                SKIP\r
+    echo function                                                            SKIP\r
+    session goes down if echo function fails                                 SKIP\r
+    echo packets looped back                                                 SKIP\r
+    echo function stops if echo source is removed                            SKIP\r
+    echo function stops if peer sets required min echo rx zero               SKIP\r
+    hold BFD session up                                                      SKIP\r
+    immediately honor remote required min rx reduction                       SKIP\r
+    echo packets with invalid checksum don't keep a session up               SKIP\r
+    large remote required min rx interval                                    SKIP\r
+    modify detect multiplier                                                 SKIP\r
+    modify session - double required min rx                                  SKIP\r
+    modify session - halve required min rx                                   SKIP\r
+    no periodic frames outside poll sequence if remote demand set            SKIP\r
+    test correct response to control frame with poll bit set                 SKIP\r
+    test poll sequence queueing                                              SKIP\r
+    bring BFD session down                                                   SKIP\r
+    bring BFD session up                                                     SKIP\r
+    bring BFD session up - first frame looked up by address pair             SKIP\r
+    verify slow periodic control frames while session down                   SKIP\r
+    stale echo packets don't keep a session up                               SKIP\r
+    no packets when zero remote required min rx interval                     SKIP\r
+\r
+\r
 \r
 IPv6 Tests\r
 ``````````\r
 \r
 IPv6 Tests\r
 ``````````\r
@@ -136,16 +221,38 @@ IPv6 Tests
     ==============================================================================\r
     IPv6 FIB test                                                            OK\r
     IPv6 Neighbour Solicitation Exceptions                                   OK\r
     ==============================================================================\r
     IPv6 FIB test                                                            OK\r
     IPv6 Neighbour Solicitation Exceptions                                   OK\r
+    ND Duplicates                                                            OK\r
     IPv6 Router Solicitation Exceptions                                      OK\r
     IPv6 Router Solicitation Exceptions                                      OK\r
+    ==============================================================================\r
+    IPv6 disabled\r
+    ==============================================================================\r
+    IP Disabled                                                              OK\r
+    ==============================================================================\r
+    IPv6 ND ProxyTest Case\r
+    ==============================================================================\r
+    IPv6 Proxy ND                                                            OK\r
+    ==============================================================================\r
+    IPv6 Load-Balancing\r
+    ==============================================================================\r
+    IPv6 Load-Balancing                                                      OK\r
+    ==============================================================================\r
+    IPv6 routes via NULL\r
+    ==============================================================================\r
+    IP NULL route                                                            OK\r
 \r
 \r
-SPAN Test\r
-`````````\r
+SPAN Tests\r
+``````````\r
 ::\r
 \r
     ==============================================================================\r
     SPAN Test Case\r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
     SPAN Test Case\r
     ==============================================================================\r
-    SPAN test                                                                OK\r
+    SPAN device rx mirror test                                               OK\r
+    SPAN l2 tx mirror test                                                   OK\r
+    SPAN l2 rx mirror test                                                   OK\r
+    SPAN l2 rx mirror into gre-subif+vtr                                     OK\r
+    SPAN l2 rx mirror into subif+vtr                                         OK\r
+    SPAN l2 rx mirror into vxlan test                                        OK\r
 \r
 GRE Tests\r
 `````````\r
 \r
 GRE Tests\r
 `````````\r
@@ -154,32 +261,115 @@ GRE Tests
     ==============================================================================\r
     GRE Test Case\r
     ==============================================================================\r
     ==============================================================================\r
     GRE Test Case\r
     ==============================================================================\r
-    GRE tunnel Tests                                                         OK\r
+    GRE IPv4 tunnel Tests                                                    OK\r
+    GRE IPv6 tunnel Tests                                                    OK\r
     GRE tunnel L2 Tests                                                      OK\r
     GRE tunnel VRF Tests                                                     OK\r
 \r
     GRE tunnel L2 Tests                                                      OK\r
     GRE tunnel VRF Tests                                                     OK\r
 \r
-SNAT Test Cases\r
-```````````````\r
+L2BD Multi-instance\r
+```````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    L2BD Multi-instance Test Case\r
+    ==============================================================================\r
+    L2BD Multi-instance test 1 - create 5 BDs                                SKIP\r
+    L2BD Multi-instance test 2 - update data of 5 BDs                        SKIP\r
+    L2BD Multi-instance 3 - delete 2 BDs                                     SKIP\r
+    L2BD Multi-instance test 4 - add 2 BDs                                   SKIP\r
+    L2BD Multi-instance 5 - delete 5 BDs                                     SKIP\r
+\r
+MAP Tests\r
+`````````\r
 ::\r
 \r
     ==============================================================================\r
 ::\r
 \r
     ==============================================================================\r
-    SNAT Test Cases\r
+    MAP Test Case\r
+    ==============================================================================\r
+    MAP-E                                                                    OK\r
+\r
+LISP tests\r
+``````````\r
+::\r
+\r
+    ==============================================================================\r
+    Basic LISP test\r
+    ==============================================================================\r
+    Test case for basic encapsulation                                        OK\r
+\r
+NAT44 Test Cases\r
+````````````````\r
+::\r
+\r
     ==============================================================================\r
     ==============================================================================\r
-    SNAT dynamic translation test                                            OK\r
-    SNAT hairpinning                                                         OK\r
-    SNAT multiple inside interfaces with overlapping address space           OK\r
-    Acquire SNAT addresses from interface                                    OK\r
+    NAT44 Test Cases\r
+    ==============================================================================\r
+    NAT44 dynamic translation test                                           OK\r
+    NAT44 handling of client packets with TTL=1                              OK\r
+    NAT44 handling of error responses to client packets with TTL=2           OK\r
+    NAT44 handling of server packets with TTL=1                              OK\r
+    NAT44 handling of error responses to server packets with TTL=2           OK\r
+    NAT44 interfaces without configured IP address                           OK\r
+    NAT44 hairpinning - 1:1 NAPT                                             OK\r
+    NAT44 hairpinning - 1:1 NAT                                              OK\r
+    1:1 NAT translate packet with unknown protocol - hairpinning             OK\r
+    NAT44 translate packet with unknown protocol - hairpinning               OK\r
+    NAT44 multiple inside interfaces with overlapping address space          OK\r
+    Acquire NAT44 addresses from interface                                   OK\r
     Static mapping with addresses from interface                             OK\r
     Static mapping with addresses from interface                             OK\r
-    S-NAT IPFIX logging NAT addresses exhausted                              OK\r
-    S-NAT IPFIX logging NAT44 session created/delted                         OK\r
+    IPFIX logging NAT addresses exhausted                                    OK\r
+    IPFIX logging NAT44 session created/delted                               OK\r
     MAX translations per user - recycle the least recently used              OK\r
     MAX translations per user - recycle the least recently used              OK\r
-    SNAT multiple inside interfaces (non-overlapping address space)          OK\r
-    S-NAT add pool addresses to FIB                                          OK\r
-    SNAT 1:1 NAT initialized from inside network                             OK\r
-    SNAT 1:1 NAT initialized from outside network                            OK\r
-    SNAT 1:1 NAT VRF awareness                                               OK\r
-    SNAT 1:1 NAT with port initialized from inside network                   OK\r
-    SNAT 1:1 NAT with port initialized from outside network                  OK\r
+    NAT44 multiple non-overlapping address space inside interfaces           OK\r
+    NAT44 interface output feature (in2out postrouting)                      OK\r
+    NAT44 interface output feature hairpinning (in2out postrouting)          OK\r
+    NAT44 interface output feature VRF aware (in2out postrouting)            OK\r
+    Ping internal host from outside network                                  OK\r
+    Ping NAT44 out interface from outside network                            OK\r
+    NAT44 add pool addresses to FIB                                          OK\r
+    1:1 NAT initialized from inside network                                  OK\r
+    NAT44 interfaces without configured IP address - 1:1 NAT                 OK\r
+    NAT44 local service load balancing                                       OK\r
+    1:1 NAT initialized from outside network                                 OK\r
+    1:1 NAT translate packet with unknown protocol                           OK\r
+    1:1 NAT VRF awareness                                                    OK\r
+    1:1 NAPT initialized from inside network                                 OK\r
+    NAT44 interfaces without configured IP address - 1:1 NAPT                OK\r
+    1:1 NAPT initialized from outside network                                OK\r
+    NAT44 translate packet with unknown protocol                             OK\r
+    NAT44 tenant VRF independent address pool mode                           OK\r
+    NAT44 tenant VRF aware address pool mode                                 OK\r
+    ==============================================================================\r
+    Deterministic NAT Test Cases\r
+    ==============================================================================\r
+    Deterministic NAT translation test (TCP, UDP, ICMP)                      OK\r
+    NAT plugin run deterministic mode                                        OK\r
+    Deterministic NAT multiple users                                         OK\r
+    Deterministic NAT maximum sessions per user limit                        SKIP\r
+    Deterministic NAT session timeouts                                       SKIP\r
+    Set deterministic NAT timeouts                                           OK\r
+    Deterministic NAT TCP session close from inside network                  OK\r
+    Deterministic NAT TCP session close from outside network                 OK\r
+\r
+NAT64 Test Cases\r
+````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    NAT64 Test Cases\r
+    ==============================================================================\r
+    NAT64 dynamic translation test                                           OK\r
+    NAT64 hairpinning                                                        OK\r
+    NAT64 translate packet with unknown protocol - hairpinning               OK\r
+    NAT64 ICMP Error message translation                                     OK\r
+    Enable/disable NAT64 feature on the interface                            OK\r
+    Add/delete address to NAT64 pool                                         OK\r
+    NAT64 Network-Specific Prefix                                            OK\r
+    NAT64 session timeout                                                    SKIP\r
+    Set NAT64 timeouts                                                       OK\r
+    NAT64 static translation test                                            OK\r
+    Add/delete static BIB entry                                              OK\r
+    NAT64 translate packet with unknown protocol                             OK\r
 \r
 L2XC Multi-instance\r
 ```````````````````\r
 \r
 L2XC Multi-instance\r
 ```````````````````\r
@@ -201,6 +391,26 @@ IPv4 Tests
     IPv4 Test Case\r
     ==============================================================================\r
     IPv4 FIB test                                                            OK\r
     IPv4 Test Case\r
     ==============================================================================\r
     IPv4 FIB test                                                            OK\r
+    ==============================================================================\r
+    IPv4 routes via NULL\r
+    ==============================================================================\r
+    IP NULL route                                                            OK\r
+    ==============================================================================\r
+    IPv4 disabled\r
+    ==============================================================================\r
+    IP Disabled                                                              OK\r
+    ==============================================================================\r
+    IPv4 Subnets\r
+    ==============================================================================\r
+    IP Sub Nets                                                              OK\r
+    ==============================================================================\r
+    IPv4 VLAN-0\r
+    ==============================================================================\r
+    IP VLAN-0                                                                OK\r
+    ==============================================================================\r
+    IPv4 Load-Balancing\r
+    ==============================================================================\r
+    IP Load-Balancing                                                        OK\r
 \r
 IPv4 FIB CRUD\r
 `````````````\r
 \r
 IPv4 FIB CRUD\r
 `````````````\r
@@ -221,23 +431,153 @@ IRB Tests
     ==============================================================================\r
     IRB Test Case\r
     ==============================================================================\r
     ==============================================================================\r
     IRB Test Case\r
     ==============================================================================\r
-    IPv4 IRB test 1                                                          OK\r
-    IPv4 IRB test 2                                                          OK\r
+    ACL plugin prepare                                                       OK\r
+    ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
+    ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
+    ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
+    ACL IPv6 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L2 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L2 ACL permit+reflect                        OK\r
+    ACL IPv6 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv6 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 routed -> bridged, L3 ACL permit+reflect                        OK\r
+    ACL IPv4 bridged -> routed, L3 ACL permit+reflect                        OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv6+EH routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv6+EH routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv6+EH bridged -> routed, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL deny                               OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL deny                               OK\r
+    ACL IPv4+MF routed -> bridged, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L2 ACL permit+reflect                     OK\r
+    ACL IPv4+MF routed -> bridged, L3 ACL permit+reflect                     OK\r
+    ACL IPv4+MF bridged -> routed, L3 ACL permit+reflect                     OK\r
+\r
+ACL Security Groups\r
+```````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    ACL plugin Test Case\r
+    ==============================================================================\r
+    ACL plugin version check; learn MACs                                     OK\r
+    ACL create/delete test                                                   OK\r
+    permit ACL apply test                                                    OK\r
+    deny ACL apply test                                                      OK\r
+    VPP_624 permit ICMPv4                                                    OK\r
+    VPP_624 permit ICMPv6                                                    OK\r
+    VPP_624 deny ICMPv4                                                      OK\r
+    VPP_624 deny ICMPv6                                                      OK\r
+    permit TCPv4                                                             OK\r
+    permit TCPv6                                                             OK\r
+    permit UDPv4                                                             OK\r
+    permit UDPv6                                                             OK\r
+    deny TCPv4/v6                                                            OK\r
+    deny UDPv4/v6                                                            OK\r
+    verify add/dump acls                                                     OK\r
+    permit single TCPv4                                                      OK\r
+    permit single UDPv4                                                      OK\r
+    permit single TCPv6                                                      OK\r
+    permit single UPPv6                                                      OK\r
+    deny single TCPv4/v6                                                     OK\r
+    deny single UDPv4/v6                                                     OK\r
+    deny single UDPv4/v6, permit ip any, verify non-initial fragment blocked OK\r
+    VPP-687 zero length udp ipv4 packet                                      OK\r
+    VPP-687 zero length udp ipv6 packet                                      OK\r
+    permit TCPv4 + non-match range                                           OK\r
+    permit TCPv6 + non-match range                                           OK\r
+    permit UDPv4 + non-match range                                           OK\r
+    permit UDPv6 + non-match range                                           OK\r
+    deny TCPv4/v6 + non-match range                                          OK\r
+    deny UDPv4/v6 + non-match range                                          OK\r
+    ==============================================================================\r
+    ACL plugin connection-oriented extended testcases\r
+    ==============================================================================\r
+    Prepare the settings                                                     SKIP\r
+    IPv4: Basic conn timeout test reflect on ingress                         SKIP\r
+    IPv4: Basic conn timeout test reflect on egress                          SKIP\r
+    IPv4: reflect egress, clear conn                                         SKIP\r
+    IPv4: reflect ingress, clear conn                                        SKIP\r
+    IPv4: Idle conn behind active conn, reflect on ingress                   SKIP\r
+    IPv4: Idle conn behind active conn, reflect on egress                    SKIP\r
+    IPv6: Basic conn timeout test reflect on ingress                         SKIP\r
+    IPv6: Basic conn timeout test reflect on egress                          SKIP\r
+    IPv6: reflect egress, clear conn                                         SKIP\r
+    IPv6: reflect ingress, clear conn                                        SKIP\r
+    IPv6: Idle conn behind active conn, reflect on ingress                   SKIP\r
+    IPv6: Idle conn behind active conn, reflect on egress                    SKIP\r
+    Prepare for TCP session tests                                            SKIP\r
+    IPv4: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
+    IPv4: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
+    IPv4: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
+    IPv4: established TCP session (complete 3WHS), ref. on egress            SKIP\r
+    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
+    IPv4: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
+    IPv6: transient TCP session (incomplete 3WHS), ref. on ingress           SKIP\r
+    IPv6: transient TCP session (incomplete 3WHS), ref. on egress            SKIP\r
+    IPv6: established TCP session (complete 3WHS), ref. on ingress           SKIP\r
+    IPv6: established TCP session (complete 3WHS), ref. on egress            SKIP\r
+    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on ingress           SKIP\r
+    IPv6: transient TCP session (3WHS,ACK,FINACK), ref. on egress            SKIP\r
 \r
 MPLS Tests\r
 ``````````\r
 ::\r
 \r
 \r
 MPLS Tests\r
 ``````````\r
 ::\r
 \r
+    ==============================================================================\r
+    MPLS-L2\r
+    ==============================================================================\r
+    Virtual Private LAN Service                                              OK\r
+    Virtual Private Wire Service                                             OK\r
     ==============================================================================\r
     MPLS Test Case\r
     ==============================================================================\r
     MPLS Local Label Binding test                                            OK\r
     MPLS Deagg                                                               OK\r
     MPLS label imposition test                                               OK\r
     ==============================================================================\r
     MPLS Test Case\r
     ==============================================================================\r
     MPLS Local Label Binding test                                            OK\r
     MPLS Deagg                                                               OK\r
     MPLS label imposition test                                               OK\r
+    MPLS Interface Receive                                                   OK\r
+    MPLS Multicast Head-end                                                  OK\r
+    MPLS IPv4 Multicast Tail                                                 OK\r
+    MPLS IPv6 Multicast Tail                                                 OK\r
+    MPLS Multicast Mid Point                                                 OK\r
     MPLS label swap tests                                                    OK\r
     MPLS Tunnel Tests                                                        OK\r
     MPLS V4 Explicit NULL test                                               OK\r
     MPLS V6 Explicit NULL test                                               OK\r
     MPLS label swap tests                                                    OK\r
     MPLS Tunnel Tests                                                        OK\r
     MPLS V4 Explicit NULL test                                               OK\r
     MPLS V6 Explicit NULL test                                               OK\r
+    ==============================================================================\r
+    MPLS PIC edge convergence\r
+    ==============================================================================\r
+    MPLS eBGP PIC edge convergence                                           OK\r
+    MPLS iBGP PIC edge convergence                                           OK\r
+    MPLSv6 eBGP PIC edge convergence                                         OK\r
+    ==============================================================================\r
+    MPLS disabled\r
+    ==============================================================================\r
+    MPLS Disabled                                                            OK\r
+\r
+IPv6 VRF Multi-instance\r
+```````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    IP6 VRF  Multi-instance Test Case\r
+    ==============================================================================\r
+    IP6 VRF  Multi-instance test 1 - create 4 VRFs                           OK\r
+    IP6 VRF  Multi-instance test 2 - reset 2 VRFs                            OK\r
+    IP6 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
+    IP6 VRF  Multi-instance test 4 - reset 4 VRFs                            OK\r
 \r
 L2XC Tests\r
 ``````````\r
 \r
 L2XC Tests\r
 ``````````\r
@@ -249,10 +589,33 @@ L2XC Tests
     L2XC dual-loop test                                                      OK\r
     L2XC single-loop test                                                    OK\r
 \r
     L2XC dual-loop test                                                      OK\r
     L2XC single-loop test                                                    OK\r
 \r
-Classifier\r
+MFIB Tests\r
 ``````````\r
 ::\r
 \r
 ``````````\r
 ::\r
 \r
+    ==============================================================================\r
+    MFIB Test Case\r
+    ==============================================================================\r
+    MFIB Unit Tests                                                          OK\r
+\r
+IP Multicast Tests\r
+``````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    IP Multicast Test Case\r
+    ==============================================================================\r
+    IPv6 Multicast Replication                                               OK\r
+    IPv6 Multicast Replication in non-default table                          OK\r
+    IP Multicast Replication                                                 OK\r
+    IP Multicast Connected Source check                                      OK\r
+    IP Multicast Signal                                                      OK\r
+    IP Multicast Replication in non-default table                            OK\r
+\r
+Classifier\r
+``````````\r
+::\r
+#######\r
     ==============================================================================\r
     Classifier Test Case\r
     ==============================================================================\r
     ==============================================================================\r
     Classifier Test Case\r
     ==============================================================================\r
@@ -273,6 +636,19 @@ VXLAN Tests
     Multicast receive test                                                   OK\r
     Unicast flood test                                                       OK\r
 \r
     Multicast receive test                                                   OK\r
     Unicast flood test                                                       OK\r
 \r
+VXLAN-GPE Tests\r
+```````````\r
+::\r
+\r
+    ==============================================================================\r
+    VXLAN-GPE Test Case\r
+    ==============================================================================\r
+    Decapsulation test                                                       SKIP\r
+    Encapsulation test                                                       SKIP\r
+    Multicast flood test                                                     SKIP\r
+    Multicast receive test                                                   SKIP\r
+    Unicast flood test                                                       SKIP\r
+\r
 L2 FIB CRUD\r
 ```````````\r
 ::\r
 L2 FIB CRUD\r
 ```````````\r
 ::\r
@@ -284,6 +660,22 @@ L2 FIB CRUD
     L2 FIB test 2 - delete 12 MAC entries                                    OK\r
     L2 FIB test 3 - program new 100 MAC addresses                            OK\r
     L2 FIB test 4 - delete 160 MAC entries                                   OK\r
     L2 FIB test 2 - delete 12 MAC entries                                    OK\r
     L2 FIB test 3 - program new 100 MAC addresses                            OK\r
     L2 FIB test 4 - delete 160 MAC entries                                   OK\r
+    L2 FIB test 5 - Program 10 new MAC entries, learn 10                     OK\r
+    L2 FIB test 6 - flush first interface                                    OK\r
+    L2 FIB test 7 - flush bd_id                                              OK\r
+    L2 FIB test 8 - flush all                                                OK\r
+    L2 FIB test 9 - mac learning events                                      OK\r
+\r
+ARP Tests\r
+`````````\r
+::\r
+\r
+    ==============================================================================\r
+    ARP Test Case\r
+    ==============================================================================\r
+    ARP                                                                      OK\r
+    MPLS                                                                     OK\r
+    Proxy ARP                                                                OK\r
 \r
 L2BD Tests\r
 ``````````\r
 \r
 L2BD Tests\r
 ``````````\r
@@ -294,3 +686,231 @@ L2BD Tests
     ==============================================================================\r
     L2BD MAC learning dual-loop test                                         OK\r
     L2BD MAC learning single-loop test                                       OK\r
     ==============================================================================\r
     L2BD MAC learning dual-loop test                                         OK\r
     L2BD MAC learning single-loop test                                       OK\r
+\r
+MACIP Access Control Tests\r
+``````````\r
+::\r
+\r
+    ==============================================================================\r
+    MACIP Test Case\r
+    ==============================================================================\r
+    IP4 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
+    MACIP 10 ACLs each with 100+ entries                                     OK\r
+    MACIP 10 ACLs each with 100+ entries with IP4 traffic                    OK\r
+    MACIP 10 ACLs each with 100+ entries with IP6 traffic                    OK\r
+    MACIP ACL with 10 entries                                                OK\r
+    MACIP ACL with 100 entries                                               OK\r
+    MACIP ACL with 2 entries                                                 OK\r
+    MACIP ACL with 20 entries                                                OK\r
+    MACIP ACL with 5 entries                                                 OK\r
+    MACIP ACL with 50 entries                                                OK\r
+    MACIP 2 ACLs each with 100+ entries                                      OK\r
+    IP4 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
+    IP4 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
+    IP4 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
+    IP4 MACIP ouiMAC|exactIP ACL bridged traffic                             OK\r
+    IP4 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
+    IP4 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
+    IP4 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
+    IP4 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
+    IP6 MACIP exactMAC|exactIP ACL bridged traffic                           OK\r
+    IP6 MACIP exactMAC|subnetIP ACL bridged traffic                          OK\r
+    IP6 MACIP exactMAC|wildIP ACL bridged traffic                            OK\r
+    IP6 MACIP oui_MAC|exactIP ACL bridged traffic                            OK\r
+    IP6 MACIP ouiMAC|subnetIP ACL bridged traffic                            OK\r
+    IP6 MACIP ouiMAC|wildIP ACL bridged traffic                              OK\r
+    IP6 MACIP wildcardMAC|exactIP ACL bridged traffic                        OK\r
+    IP6 MACIP wildcardMAC|subnetIP ACL bridged traffic                       OK\r
+    IP6 MACIP wildcardMAC|wildIP ACL bridged traffic                         OK\r
+    MACIP replace ACL                                                        OK\r
+    MACIP replace ACL with IP4 traffic                                       OK\r
+    MACIP replace ACL with IP6 traffic                                       OK\r
+    IP4 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
+    IP4 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
+    IP4 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
+    IP4 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
+    IP4 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
+    IP4 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
+    IP4 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
+    IP4 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
+    IP4 MACIP wildcardMAC|wildIP ACL                                         OK\r
+    IP6 MACIP exactMAC|exactIP ACL routed traffic                            OK\r
+    IP6 MACIP exactMAC|subnetIP ACL routed traffic                           OK\r
+    IP6 MACIP exactMAC|wildIP ACL routed traffic                             OK\r
+    IP6 MACIP ouiMAC|exactIP ACL routed traffic                              OK\r
+    IP6 MACIP ouiMAC|subnetIP ACL routed traffic                             OK\r
+    IP6 MACIP ouiMAC|wildIP ACL routed traffic                               OK\r
+    IP6 MACIP wildcardMAC|exactIP ACL routed traffic                         OK\r
+    IP6 MACIP wildcardMAC|subnetIP ACL routed traffic                        OK\r
+    IP6 MACIP wildcardMAC|wildIP ACL                                         OK\r
+    MACIP ACL delete intf with acl                                           OK\r
+\r
+SRv6 Tests\r
+``````````\r
+::\r
+\r
+    ==============================================================================\r
+    SRv6 Test Case\r
+    ==============================================================================\r
+    Test SRv6 End (without PSP) behavior.                                    OK\r
+    Test SRv6 End.DT4 behavior.                                              OK\r
+    Test SRv6 End.DT6 behavior.                                              OK\r
+    Test SRv6 End.DX2 behavior.                                              OK\r
+    Test SRv6 End.DX4 behavior.                                              OK\r
+    Test SRv6 End.DX6 behavior.                                              OK\r
+    Test SRv6 End.X (without PSP) behavior.                                  OK\r
+    Test SRv6 End.X with PSP behavior.                                       OK\r
+    Test SRv6 End with PSP behavior.                                         OK\r
+    Test SRv6 Transit.Encaps behavior for IPv6.                              OK\r
+    Test SRv6 Transit.Encaps behavior for IPv4.                              OK\r
+    Test SRv6 Transit.Encaps behavior for L2.                                SKIP\r
+    Test SRv6 Transit.Insert behavior (IPv6 only).                           OK\r
+\r
+PPPoE Tests\r
+```````````\r
+::\r
+\r
+    ==============================================================================\r
+    PPPoE Test Case\r
+    ==============================================================================\r
+    PPPoE Add Same Session Twice Test                                        OK\r
+    PPPoE Decap Test                                                         OK\r
+    PPPoE Decap Multiple Sessions Test                                       OK\r
+    PPPoE Delete Same Session Twice Test                                     OK\r
+    PPPoE Encap Test                                                         OK\r
+    PPPoE Encap Multiple Sessions Test                                       OK\r
+\r
+VTR VLAN Tag Rewrite Tests\r
+``````````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    VTR Test Case\r
+    ==============================================================================\r
+    1AD VTR pop 1 test                                                       OK\r
+    1AD VTR pop 2 test                                                       OK\r
+    1AD VTR push 1 1AD test                                                  OK\r
+    1AD VTR push 1 1Q test                                                   OK\r
+    1AD VTR push 2 1AD test                                                  OK\r
+    1AD VTR push 2 1Q test                                                   OK\r
+    1AD VTR translate 1 -> 1 1AD test                                        OK\r
+    1AD VTR translate 1 -> 1 1Q test                                         OK\r
+    1AD VTR translate 1 -> 2 1AD test                                        OK\r
+    1AD VTR translate 1 -> 2 1Q test                                         OK\r
+    1AD VTR translate 2 -> 1 1AD test                                        OK\r
+    1AD VTR translate 2 -> 1 1Q test                                         OK\r
+    1AD VTR translate 2 -> 2 1AD test                                        OK\r
+    1AD VTR translate 2 -> 2 1Q test                                         OK\r
+    1Q VTR pop 1 test                                                        OK\r
+    1Q VTR push 1 test                                                       OK\r
+    1Q VTR push 2 test                                                       OK\r
+    1Q VTR translate 1 -> 1 test                                             OK\r
+    1Q VTR translate 1 -> 2 test                                             OK\r
+\r
+ARP Tests\r
+`````````\r
+::\r
+\r
+    ==============================================================================\r
+    ARP Test Case\r
+    ==============================================================================\r
+    ARP                                                                      OK\r
+    ARP Duplicates                                                           OK\r
+    ARP Static                                                               OK\r
+    ARP reply with VRRP virtual src hw addr                                  OK\r
+    MPLS                                                                     OK\r
+    Proxy ARP                                                                OK\r
+    Interface Mirror Proxy ARP                                               OK\r
+    ==============================================================================\r
+    L2BD arp termination Test Case\r
+    ==============================================================================\r
+    L2BD arp term - add 5 hosts, verify arp responses                        OK\r
+    L2BD arp term - delete 3 hosts, verify arp responses                     OK\r
+    L2BD arp term - recreate BD1, readd 3 hosts, verify arp responses        OK\r
+    L2BD arp term - 2 IP4 addrs per host                                     OK\r
+    L2BD arp term - create and update 10 IP4-mac pairs                       OK\r
+    L2BD arp/ND term - hosts with both ip4/ip6                               OK\r
+    L2BD ND term - Add and Del hosts, verify ND replies                      OK\r
+    L2BD ND term - Add and update IP+mac, verify ND replies                  OK\r
+    L2BD arp term - send garps, verify arp event reports                     OK\r
+    L2BD arp term - send duplicate garps, verify suppression                 OK\r
+    L2BD arp term - disable ip4 arp events,send garps, verify no events      OK\r
+    L2BD ND term - send NS packets verify reports                            OK\r
+    L2BD ND term - send duplicate ns, verify suppression                     OK\r
+    L2BD ND term - disable ip4 arp events,send ns, verify no events          OK\r
+\r
+P2P Ethernet Subinterface ests\r
+``````````````````````````````\r
+::\r
+\r
+    ==============================================================================\r
+    P2P Ethernet tests\r
+    ==============================================================================\r
+    delete/create p2p subif                                                  OK\r
+    create 100k of p2p subifs                                                SKIP\r
+    create 1k of p2p subifs                                                  OK\r
+    ==============================================================================\r
+    P2P Ethernet IPv4 tests\r
+    ==============================================================================\r
+    receive ipv4 packet via p2p subinterface                                 OK\r
+    route rx packet not matching p2p subinterface                            OK\r
+    send ip4 packet via p2p subinterface                                     OK\r
+    drop tx ip4 packet not matching p2p subinterface                         OK\r
+    ==============================================================================\r
+    P2P Ethernet IPv6 tests\r
+    ==============================================================================\r
+    receive ipv6 packet via p2p subinterface                                 OK\r
+    drop rx packet not matching p2p subinterface                             OK\r
+    route rx ip6 packet not matching p2p subinterface                        OK\r
+    send packet via p2p subinterface                                         OK\r
+    drop tx ip6 packet not matching p2p subinterface                         OK\r
+    standard routing without p2p subinterfaces                               OK\r
+\r
+GTPU Test Case\r
+``````````````\r
+::\r
+\r
+    ==============================================================================\r
+    GTPU Test Case\r
+    ==============================================================================\r
+    Decapsulation test                                                       OK\r
+    Encapsulation test                                                       OK\r
+    Multicast flood test                                                     OK\r
+    Multicast receive test                                                   OK\r
+    Unicast flood test                                                       OK\r
+\r
+Other Tests\r
+```````````\r
+::\r
+\r
+    ==============================================================================\r
+    VAPI test\r
+    ==============================================================================\r
+    run C VAPI tests                                                         SKIP\r
+    run C++ VAPI tests                                                       SKIP\r
+    ==============================================================================\r
+    Ping Test Case\r
+    ==============================================================================\r
+    basic ping test                                                          OK\r
+    burst ping test                                                          OK\r
+    ==============================================================================\r
+    Template verification, timer tests\r
+    ==============================================================================\r
+    timer less than template timeout                                         OK\r
+    timer greater than template timeout                                      OK\r
+    verify cflow packet fields                                               OK\r
+    ==============================================================================\r
+    JVPP Core Test Case\r
+    ==============================================================================\r
+    JVPP Acl Callback Api Test Case                                          OK\r
+    JVPP Acl Future Api Test Case                                            OK\r
+    JVPP Core Callback Api Test Case                                         OK\r
+    JVPP Core Future Api Test Case                                           OK\r
+    JVPP Ioamexport Callback Api Test Case                                   OK\r
+    JVPP Ioamexport Future Api Test Case                                     OK\r
+    JVPP Ioampot Callback Api Test Case                                      OK\r
+    JVPP Ioampot Future Api Test Case                                        OK\r
+    JVPP Ioamtrace Callback Api Test Case                                    OK\r
+    JVPP Ioamtrace Future Api Test Case                                      OK\r
+    JVPP Snat Callback Api Test Case                                         OK\r
+    JVPP Snat Future Api Test Case                                           OK
\ No newline at end of file