docs/report/detailed_test_results/vpp_unittest_results/vpp_unittest_results.rst

   1 CRUD Loopback\r
   2 `````````````\r
   3 ::\r
   4 \r
   5     ==============================================================================\r
   6     CRUD Loopback\r
   7     ==============================================================================\r
   8     test_crud (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
   9     test_down (test_interface_crud.TestLoopbackInterfaceCRUD)                OK\r
  10 \r
  11 Flow-per-packet plugin\r
  12 ``````````````````````\r
  13 ::\r
  14 \r
  15     ==============================================================================\r
  16     Flow-per-packet plugin: test both L2 and IP4 reporting\r
  17     ==============================================================================\r
  18     Flow per packet L3 test                                                  OK\r
  19 \r
  20 DHCP\r
  21 ````\r
  22 ::\r
  23 \r
  24     ==============================================================================\r
  25     DHCP Test Case\r
  26     ==============================================================================\r
  27     DHCPv6 Proxy                                                             OK\r
  28     DHCPv4 Proxy                                                             OK\r
  29 \r
  30 IPv4 VRF Multi-instance\r
  31 ```````````````````````\r
  32 ::\r
  33 \r
  34     ==============================================================================\r
  35     IP4 VRF  Multi-instance Test Case\r
  36     ==============================================================================\r
  37     IP4 VRF  Multi-instance test 1 - create 5 BDs                            OK\r
  38     IP4 VRF  Multi-instance test 2 - delete 2 VRFs                           OK\r
  39     IP4 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
  40     IP4 VRF  Multi-instance test 4 - delete 4 VRFs                           OK\r
  41 \r
  42 Load Balancer\r
  43 `````````````\r
  44 ::\r
  45 \r
  46     ==============================================================================\r
  47     Load Balancer Test Case\r
  48     ==============================================================================\r
  49     Load Balancer IP4 GRE4                                                   OK\r
  50     Load Balancer IP4 GRE6                                                   OK\r
  51     Load Balancer IP6 GRE4                                                   OK\r
  52     Load Balancer IP6 GRE6                                                   OK\r
  53 \r
  54 FIB Tests\r
  55 `````````\r
  56 ::\r
  57 \r
  58     ==============================================================================\r
  59     FIB Test Case\r
  60     ==============================================================================\r
  61     FIB Unit Tests                                                           OK\r
  62 \r
  63 BFD IPv6\r
  64 ````````\r
  65 ::\r
  66 \r
  67     ==============================================================================\r
  68     Bidirectional Forwarding Detection (BFD) (IPv6)\r
  69     ==============================================================================\r
  70     echo function used                                                       SKIP\r
  71     echo packets looped back                                                 SKIP\r
  72     hold BFD session up                                                      SKIP\r
  73     bring BFD session up                                                     SKIP\r
  74     bring BFD session up - first frame looked up by address pair             SKIP\r
  75 \r
  76 BFD authentication\r
  77 ``````````````````\r
  78 ::\r
  79 \r
  80     ==============================================================================\r
  81     Bidirectional Forwarding Detection (BFD) (SHA1 auth)\r
  82     ==============================================================================\r
  83     hold BFD session up                                                      SKIP\r
  84     hold BFD session up - meticulous auth                                    SKIP\r
  85     session is not brought down by unauthenticated msg                       SKIP\r
  86     session is not brought down by msg with non-existent key-id              SKIP\r
  87     session is not brought down by msg with wrong auth type                  SKIP\r
  88     simulate remote peer restart and resynchronization                       SKIP\r
  89     session is not kept alive by msgs with bad sequence numbers              SKIP\r
  90     bring BFD session up                                                     SKIP\r
  91 \r
  92 BFD CLI\r
  93 ````````\r
  94 ::\r
  95 \r
  96     ==============================================================================\r
  97     Bidirectional Forwarding Detection (BFD) (CLI)\r
  98     ==============================================================================\r
  99     create/modify/delete IPv4 BFD UDP session                                SKIP\r
 100     create/modify/delete IPv6 BFD UDP session                                SKIP\r
 101     create/modify/delete IPv6 BFD UDP session (authenticated)                SKIP\r
 102     create/modify/delete IPv4 BFD UDP session (authenticated)                SKIP\r
 103     put session admin-up and admin-down                                      SKIP\r
 104     turn authentication on and off                                           SKIP\r
 105     turn authentication on and off (delayed)                                 SKIP\r
 106     set/delete meticulous SHA1 auth key                                      SKIP\r
 107     set/delete SHA1 auth key                                                 SKIP\r
 108     set/del udp echo source                                                  SKIP\r
 109     show commands                                                            SKIP\r
 110 \r
 111 BFD API\r
 112 ````````\r
 113 ::\r
 114 \r
 115     ==============================================================================\r
 116     Bidirectional Forwarding Detection (BFD) - API\r
 117     ==============================================================================\r
 118     activate SHA1 authentication                                             SKIP\r
 119     create BFD session using non-existent SHA1 (negative case)               SKIP\r
 120     create a BFD session                                                     SKIP\r
 121     create IPv6 BFD session                                                  SKIP\r
 122     create a BFD session (SHA1)                                              SKIP\r
 123     add SHA1 keys                                                            SKIP\r
 124     change SHA1 key                                                          SKIP\r
 125     deactivate SHA1 authentication                                           SKIP\r
 126     create the same BFD session twice (negative case)                        SKIP\r
 127     create the same BFD session twice (negative case) (SHA1)                 SKIP\r
 128     modify BFD session parameters                                            SKIP\r
 129     share single SHA1 key between multiple BFD sessions                      SKIP\r
 130 \r
 131 BFD authentication change\r
 132 `````````````````````````\r
 133 ::\r
 134 \r
 135     ==============================================================================\r
 136     Bidirectional Forwarding Detection (BFD) (changing auth)\r
 137     ==============================================================================\r
 138     change auth key without disturbing session state (delayed)               SKIP\r
 139     change auth key without disturbing session state (immediate)             SKIP\r
 140     turn auth off without disturbing session state (delayed)                 SKIP\r
 141     turn auth off without disturbing session state (immediate)               SKIP\r
 142     turn auth on without disturbing session state (delayed)                  SKIP\r
 143     turn auth on without disturbing session state (immediate)                SKIP\r
 144 \r
 145 BFD IPv4\r
 146 ````````\r
 147 \r
 148 ::\r
 149 \r
 150     ==============================================================================\r
 151     Bidirectional Forwarding Detection (BFD)\r
 152     ==============================================================================\r
 153     put session admin-up and admin-down                                      SKIP\r
 154     configuration change while peer in demand mode                           SKIP\r
 155     verify session goes down after inactivity                                SKIP\r
 156     echo function                                                            SKIP\r
 157     session goes down if echo function fails                                 SKIP\r
 158     echo packets looped back                                                 SKIP\r
 159     echo function stops if echo source is removed                            SKIP\r
 160     echo function stops if peer sets required min echo rx zero               SKIP\r
 161     hold BFD session up                                                      SKIP\r
 162     immediately honor remote required min rx reduction                       SKIP\r
 163     echo packets with invalid checksum don't keep a session up               SKIP\r
 164     large remote required min rx interval                                    SKIP\r
 165     modify detect multiplier                                                 SKIP\r
 166     modify session - double required min rx                                  SKIP\r
 167     modify session - halve required min rx                                   SKIP\r
 168     no periodic frames outside poll sequence if remote demand set            SKIP\r
 169     test correct response to control frame with poll bit set                 SKIP\r
 170     test poll sequence queueing                                              SKIP\r
 171     bring BFD session down                                                   SKIP\r
 172     bring BFD session up                                                     SKIP\r
 173     bring BFD session up - first frame looked up by address pair             SKIP\r
 174     verify slow periodic control frames while session down                   SKIP\r
 175     stale echo packets don't keep a session up                               SKIP\r
 176     no packets when zero remote required min rx interval                     SKIP\r
 177 \r
 178 IPv6 Tests\r
 179 ``````````\r
 180 ::\r
 181 \r
 182     ==============================================================================\r
 183     IPv6 Test Case\r
 184     ==============================================================================\r
 185     IPv6 FIB test                                                            OK\r
 186     IPv6 Neighbour Solicitation Exceptions                                   OK\r
 187     IPv6 Router Solicitation Exceptions                                      OK\r
 188     ==============================================================================\r
 189     IPv6 disabled\r
 190     ==============================================================================\r
 191     IP Disabled                                                              OK\r
 192     IPv6 ND Proxy\r
 193     ==============================================================================\r
 194     IPv6 ND ProxyTest Case\r
 195     ==============================================================================\r
 196     IPv6 Proxy ND                                                            OK\r
 197     ==============================================================================\r
 198     IPv6 routes via NULL\r
 199     ==============================================================================\r
 200     IP NULL route                                                            OK\r
 201 \r
 202 SPAN Test\r
 203 `````````\r
 204 ::\r
 205 \r
 206     ==============================================================================\r
 207     SPAN Test Case\r
 208     ==============================================================================\r
 209     SPAN test                                                                OK\r
 210 \r
 211 GRE Tests\r
 212 `````````\r
 213 ::\r
 214 \r
 215     ==============================================================================\r
 216     GRE Test Case\r
 217     ==============================================================================\r
 218     GRE tunnel Tests                                                         OK\r
 219     GRE tunnel L2 Tests                                                      OK\r
 220     GRE tunnel VRF Tests                                                     OK\r
 221 \r
 222 L2BD Multi-instance\r
 223 ```````````````````\r
 224 ::\r
 225 \r
 226     ==============================================================================\r
 227     L2BD Multi-instance Test Case\r
 228     ==============================================================================\r
 229     L2BD Multi-instance test 1 - create 5 BDs                                SKIP\r
 230     L2BD Multi-instance test 2 - update data of 5 BDs                        SKIP\r
 231     L2BD Multi-instance 3 - delete 2 BDs                                     SKIP\r
 232     L2BD Multi-instance test 4 - add 2 BDs                                   SKIP\r
 233     L2BD Multi-instance 5 - delete 5 BDs                                     SKIP\r
 234 \r
 235 MAP Tests\r
 236 `````````\r
 237 ::\r
 238 \r
 239     ==============================================================================\r
 240     MAP Test Case\r
 241     ==============================================================================\r
 242     MAP-E                                                                    OK\r
 243 \r
 244 LISP tests\r
 245 ``````````\r
 246 ::\r
 247 \r
 248     ==============================================================================\r
 249     Basic LISP test\r
 250     ==============================================================================\r
 251     Test case for basic encapsulation                                        OK\r
 252 \r
 253 NAT Test Cases\r
 254 ``````````````\r
 255 ::\r
 256 \r
 257     ==============================================================================\r
 258     SNAT Test Cases\r
 259     ==============================================================================\r
 260     SNAT dynamic translation test                                            OK\r
 261     SNAT handling of client packets with TTL=1                               OK\r
 262     SNAT handling of error responses to client packets with TTL=2            OK\r
 263     SNAT handling of server packets with TTL=1                               OK\r
 264     SNAT handling of error responses to server packets with TTL=2            OK\r
 265     SNAT hairpinning                                                         OK\r
 266     SNAT multiple inside interfaces with overlapping address space           OK\r
 267     Acquire SNAT addresses from interface                                    OK\r
 268     Static mapping with addresses from interface                             OK\r
 269     S-NAT IPFIX logging NAT addresses exhausted                              OK\r
 270     S-NAT IPFIX logging NAT44 session created/delted                         OK\r
 271     MAX translations per user - recycle the least recently used              OK\r
 272     SNAT multiple inside interfaces (non-overlapping address space)          OK\r
 273     Ping internal host from outside network                                  OK\r
 274     Ping SNAT out interface from outside network                             OK\r
 275     S-NAT add pool addresses to FIB                                          OK\r
 276     SNAT 1:1 NAT initialized from inside network                             OK\r
 277     SNAT 1:1 NAT initialized from outside network                            OK\r
 278     SNAT 1:1 NAT VRF awareness                                               OK\r
 279     SNAT 1:1 NAT with port initialized from inside network                   OK\r
 280     SNAT 1:1 NAT with port initialized from outside network                  OK\r
 281     S-NAT tenant VRF independent address pool mode                           OK\r
 282     S-NAT tenant VRF aware address pool mode                                 OK\r
 283     ==============================================================================\r
 284     Deterministic NAT Test Cases\r
 285     ==============================================================================\r
 286     S-NAT run deterministic mode                                             OK\r
 287 \r
 288 L2XC Multi-instance\r
 289 ```````````````````\r
 290 ::\r
 291 \r
 292     ==============================================================================\r
 293     L2XC Multi-instance Test Case\r
 294     ==============================================================================\r
 295     L2XC Multi-instance test 1 - create 10 cross-connects                    OK\r
 296     L2XC Multi-instance test 2 - delete 4 cross-connects                     OK\r
 297     L2BD Multi-instance 3 - add new 4 cross-connects                         OK\r
 298     L2XC Multi-instance test 4 - delete 10 cross-connects                    OK\r
 299 \r
 300 IPv4 Tests\r
 301 ``````````\r
 302 ::\r
 303 \r
 304     ==============================================================================\r
 305     IPv4 Test Case\r
 306     ==============================================================================\r
 307     IPv4 FIB test                                                            OK\r
 308     ==============================================================================\r
 309     IPv4 routes via NULL\r
 310     ==============================================================================\r
 311     IP NULL route                                                            OK\r
 312     ==============================================================================\r
 313     IPv4 disabled\r
 314     ==============================================================================\r
 315     IP Disabled                                                              OK\r
 316 \r
 317 IPv4 FIB CRUD\r
 318 `````````````\r
 319 ::\r
 320 \r
 321     ==============================================================================\r
 322     FIB - add/update/delete - ip4 routes\r
 323     ==============================================================================\r
 324     Add 1k routes                                                            OK\r
 325     Delete 100 routes                                                        OK\r
 326     Add 1k routes                                                            OK\r
 327     Delete 1.5k routes                                                       OK\r
 328 \r
 329 IRB Tests\r
 330 `````````\r
 331 ::\r
 332 \r
 333     ==============================================================================\r
 334     IRB Test Case\r
 335     ==============================================================================\r
 336     IPv4 IRB test 1                                                          OK\r
 337     IPv4 IRB test 2                                                          OK\r
 338 \r
 339 ACL Security Groups\r
 340 ```````````````````\r
 341 ::\r
 342 \r
 343     ==============================================================================\r
 344     ACL plugin Test Case\r
 345     ==============================================================================\r
 346     ACL plugin version check; learn MACs                                     OK\r
 347     ACL create test                                                          OK\r
 348     permit ACL apply test                                                    OK\r
 349     deny ACL apply test                                                      OK\r
 350     VPP_624 permit ICMPv4                                                    OK\r
 351     VPP_624 permit ICMPv6                                                    OK\r
 352     VPP_624 deny ICMPv4                                                      OK\r
 353     VPP_624 deny ICMPv6                                                      OK\r
 354     permit TCPv4                                                             OK\r
 355     permit TCPv6                                                             OK\r
 356     permit UDPv4                                                             OK\r
 357     permit UDPv6                                                             OK\r
 358     deny TCPv4/v6                                                            OK\r
 359     deny UDPv4/v6                                                            OK\r
 360     verify add/dump acls                                                     OK\r
 361     permit single TCPv4                                                      OK\r
 362     permit single UDPv4                                                      OK\r
 363     permit single TCPv6                                                      OK\r
 364     permit single UPPv6                                                      OK\r
 365     deny single TCPv4/v6                                                     OK\r
 366     deny single UDPv4/v6                                                     OK\r
 367     deny single UDPv4/v6, permit ip any, verify non-initial fragment blocked OK\r
 368 \r
 369 MPLS Tests\r
 370 ``````````\r
 371 ::\r
 372 \r
 373     ==============================================================================\r
 374     MPLS Test Case\r
 375     ==============================================================================\r
 376     MPLS Local Label Binding test                                            OK\r
 377     MPLS Deagg                                                               OK\r
 378     MPLS label imposition test                                               OK\r
 379     MPLS label swap tests                                                    OK\r
 380     MPLS Tunnel Tests                                                        OK\r
 381     MPLS V4 Explicit NULL test                                               OK\r
 382     MPLS V6 Explicit NULL test                                               OK\r
 383     ==============================================================================\r
 384     MPLS disabled\r
 385     ==============================================================================\r
 386     MPLS Disabled                                                            OK\r
 387 \r
 388 IPv6 VRF Multi-instance\r
 389 ```````````````````````\r
 390 ::\r
 391 \r
 392     ==============================================================================\r
 393     IP6 VRF  Multi-instance Test Case\r
 394     ==============================================================================\r
 395     IP6 VRF  Multi-instance test 1 - create 4 VRFs                           OK\r
 396     IP6 VRF  Multi-instance test 2 - reset 2 VRFs                            OK\r
 397     IP6 VRF  Multi-instance 3 - add 2 VRFs                                   OK\r
 398     IP6 VRF  Multi-instance test 4 - reset 4 VRFs                            OK\r
 399 \r
 400 L2XC Tests\r
 401 ``````````\r
 402 ::\r
 403 \r
 404     ==============================================================================\r
 405     L2XC Test Case\r
 406     ==============================================================================\r
 407     L2XC dual-loop test                                                      OK\r
 408     L2XC single-loop test                                                    OK\r
 409 \r
 410 MFIB Tests\r
 411 ``````````\r
 412 ::\r
 413 \r
 414     ==============================================================================\r
 415     MFIB Test Case\r
 416     ==============================================================================\r
 417     MFIB Unit Tests                                                          OK\r
 418 \r
 419 IP Multicast Tests\r
 420 ``````````````````\r
 421 ::\r
 422 \r
 423     ==============================================================================\r
 424     IP Multicast Test Case\r
 425     ==============================================================================\r
 426     IPv6 Multicast Replication                                               OK\r
 427     IP Multicast Replication                                                 OK\r
 428     IP Multicast Connected Source check                                      OK\r
 429     IP Multicast Signal                                                      OK\r
 430 \r
 431 Classifier\r
 432 ``````````\r
 433 ::\r
 434 \r
 435     ==============================================================================\r
 436     Classifier Test Case\r
 437     ==============================================================================\r
 438     IP ACL test                                                              OK\r
 439     MAC ACL test                                                             OK\r
 440     IP PBR test                                                              OK\r
 441 \r
 442 IRB Tests\r
 443 `````````\r
 444 ::\r
 445 \r
 446     ==============================================================================\r
 447     IRB Test Case\r
 448     ==============================================================================\r
 449     ACL plugin prepare                                                       OK\r
 450     ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
 451     ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
 452     ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
 453     ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
 454     ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
 455     ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
 456     ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
 457     ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
 458     ACL IPv6 routed -> bridged, L2 ACL permit+reflect                        OK\r
 459     ACL IPv6 bridged -> routed, L2 ACL permit+reflect                        OK\r
 460     ACL IPv4 routed -> bridged, L2 ACL permit+reflect                        OK\r
 461     ACL IPv4 bridged -> routed, L2 ACL permit+reflect                        OK\r
 462     ACL IPv6 routed -> bridged, L3 ACL permit+reflect                        OK\r
 463     ACL IPv6 bridged -> routed, L3 ACL permit+reflect                        OK\r
 464     ACL IPv4 routed -> bridged, L3 ACL permit+reflect                        OK\r
 465     ACL IPv4 bridged -> routed, L3 ACL permit+reflect                        OK\r
 466     ACL IPv6+EH routed -> bridged, L2 ACL deny                               OK\r
 467     ACL IPv6+EH routed -> bridged, L3 ACL deny                               OK\r
 468     ACL IPv6+EH bridged -> routed, L2 ACL deny                               OK\r
 469     ACL IPv6+EH bridged -> routed, L3 ACL deny                               OK\r
 470     ACL IPv6+EH routed -> bridged, L2 ACL permit+reflect                     OK\r
 471     ACL IPv6+EH bridged -> routed, L2 ACL permit+reflect                     OK\r
 472     ACL IPv6+EH routed -> bridged, L3 ACL permit+reflect                     OK\r
 473     ACL IPv6+EH bridged -> routed, L3 ACL permit+reflect                     OK\r
 474     ACL IPv4+MF routed -> bridged, L2 ACL deny                               OK\r
 475     ACL IPv4+MF routed -> bridged, L3 ACL deny                               OK\r
 476     ACL IPv4+MF bridged -> routed, L2 ACL deny                               OK\r
 477     ACL IPv4+MF bridged -> routed, L3 ACL deny                               OK\r
 478     ACL IPv4+MF routed -> bridged, L2 ACL permit+reflect                     OK\r
 479     ACL IPv4+MF bridged -> routed, L2 ACL permit+reflect                     OK\r
 480     ACL IPv4+MF routed -> bridged, L3 ACL permit+reflect                     OK\r
 481     ACL IPv4+MF bridged -> routed, L3 ACL permit+reflect                     OK\r
 482     ACL plugin set old L2 datapath                                           OK\r
 483     ACL IPv6 routed -> bridged, L2 ACL deny                                  OK\r
 484     ACL IPv6 routed -> bridged, L3 ACL deny                                  OK\r
 485     ACL IPv4 routed -> bridged, L2 ACL deny                                  OK\r
 486     ACL IPv4 routed -> bridged, L3 ACL deny                                  OK\r
 487     ACL IPv6 bridged -> routed, L2 ACL deny                                  OK\r
 488     ACL IPv6 bridged -> routed, L3 ACL deny                                  OK\r
 489     ACL IPv4 bridged -> routed, L2 ACL deny                                  OK\r
 490     ACL IPv4 bridged -> routed, L3 ACL deny                                  OK\r
 491 \r
 492 VXLAN Tests\r
 493 ```````````\r
 494 ::\r
 495 \r
 496     ==============================================================================\r
 497     VXLAN Test Case\r
 498     ==============================================================================\r
 499     Decapsulation test                                                       OK\r
 500     Encapsulation test                                                       OK\r
 501     Multicast flood test                                                     OK\r
 502     Multicast receive test                                                   OK\r
 503     Unicast flood test                                                       OK\r
 504 \r
 505 L2 FIB CRUD\r
 506 ```````````\r
 507 ::\r
 508 \r
 509     ==============================================================================\r
 510     L2 FIB Test Case\r
 511     ==============================================================================\r
 512     L2 FIB test 1 - program 100 MAC addresses                                OK\r
 513     L2 FIB test 2 - delete 12 MAC entries                                    OK\r
 514     L2 FIB test 3 - program new 100 MAC addresses                            OK\r
 515     L2 FIB test 4 - delete 160 MAC entries                                   OK\r
 516 \r
 517 ARP Tests\r
 518 `````````\r
 519 ::\r
 520 \r
 521     ==============================================================================\r
 522     ARP Test Case\r
 523     ==============================================================================\r
 524     ARP                                                                      OK\r
 525     MPLS                                                                     OK\r
 526     Proxy ARP                                                                OK\r
 527 \r
 528 L2BD Tests\r
 529 ``````````\r
 530 ::\r
 531 \r
 532     ==============================================================================\r
 533     L2BD Test Case\r
 534     ==============================================================================\r
 535     L2BD MAC learning dual-loop test                                         OK\r
 536     L2BD MAC learning single-loop test                                       OK\r