hs-test: change convention for skipping tests
[vpp.git] / extras / hs-test / vcl_test.go
old mode 100755 (executable)
new mode 100644 (file)
index 96ca7f6..281b916
@@ -3,186 +3,150 @@ package main
 import (
        "fmt"
        "time"
-
-       "github.com/edwarnicke/exechelper"
 )
 
-func (s *Veths2Suite) TestVclEchoQuic() {
-       s.T().Skip("quic test skipping..")
-       s.testVclEcho("quic")
+func getVclConfig(c *Container, ns_id_optional ...string) string {
+       var s Stanza
+       ns_id := "default"
+       if len(ns_id_optional) > 0 {
+               ns_id = ns_id_optional[0]
+       }
+       s.newStanza("vcl").
+               append(fmt.Sprintf("app-socket-api %[1]s/var/run/app_ns_sockets/%[2]s", c.getContainerWorkDir(), ns_id)).
+               append("app-scope-global").
+               append("app-scope-local").
+               append("use-mq-eventfd")
+       if len(ns_id_optional) > 0 {
+               s.append(fmt.Sprintf("namespace-id %[1]s", ns_id)).
+                       append(fmt.Sprintf("namespace-secret %[1]s", ns_id))
+       }
+       return s.close().toString()
 }
 
-func (s *Veths2Suite) TestVclEchoUdp() {
-       s.T().Skip("udp echo currently broken in vpp, skipping..")
-       s.testVclEcho("udp")
+func (s *VethsSuite) TestXEchoVclClientUdp() {
+       s.testXEchoVclClient("udp")
 }
 
-func (s *Veths2Suite) TestVclEchoTcp() {
-       s.testVclEcho("tcp")
+func (s *VethsSuite) TestXEchoVclClientTcp() {
+       s.testXEchoVclClient("tcp")
 }
 
-func (s *Veths2Suite) testVclEcho(proto string) {
-       t := s.T()
+func (s *VethsSuite) testXEchoVclClient(proto string) {
+       port := "12345"
+       serverVpp := s.getContainerByName("server-vpp").vppInstance
 
-       exechelper.Run("docker volume create --name=echo-srv-vol")
-       exechelper.Run("docker volume create --name=echo-cln-vol")
+       serverVeth := s.netInterfaces[serverInterfaceName]
+       serverVpp.vppctl("test echo server uri %s://%s/%s fifo-size 64k", proto, serverVeth.ip4AddressString(), port)
 
-       srvInstance := "vpp-echo-srv"
-       clnInstance := "vpp-echo-cln"
-       echoSrv := "echo-srv"
-       echoCln := "echo-cln"
-
-       err := dockerRun(srvInstance, "-v echo-srv-vol:/tmp/2veths")
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + srvInstance) }()
+       echoClnContainer := s.getTransientContainerByName("client-app")
+       echoClnContainer.createFile("/vcl.conf", getVclConfig(echoClnContainer))
 
-       err = dockerRun(clnInstance, "-v echo-cln-vol:/tmp/2veths")
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + clnInstance) }()
+       testClientCommand := "vcl_test_client -N 100 -p " + proto + " " + serverVeth.ip4AddressString() + " " + port
+       s.log(testClientCommand)
+       echoClnContainer.addEnvVar("VCL_CONFIG", "/vcl.conf")
+       o := echoClnContainer.exec(testClientCommand)
+       s.log(o)
+       s.assertContains(o, "CLIENT RESULTS")
+}
 
-       err = dockerRun(echoSrv, fmt.Sprintf("-v echo-srv-vol:/tmp/%s", echoSrv))
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + echoSrv) }()
+func (s *VethsSuite) TestXEchoVclServerUdp() {
+       s.testXEchoVclServer("udp")
+}
 
-       err = dockerRun(echoCln, fmt.Sprintf("-v echo-cln-vol:/tmp/%s", echoCln))
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + echoCln) }()
+func (s *VethsSuite) TestXEchoVclServerTcp() {
+       s.testXEchoVclServer("tcp")
+}
 
-       _, err = hstExec("2veths srv", srvInstance)
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
+func (s *VethsSuite) testXEchoVclServer(proto string) {
+       port := "12345"
+       srvVppCont := s.getContainerByName("server-vpp")
+       srvAppCont := s.getContainerByName("server-app")
 
-       _, err = hstExec("2veths cln", clnInstance)
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
+       srvAppCont.createFile("/vcl.conf", getVclConfig(srvVppCont))
+       srvAppCont.addEnvVar("VCL_CONFIG", "/vcl.conf")
+       vclSrvCmd := fmt.Sprintf("vcl_test_server -p %s %s", proto, port)
+       srvAppCont.execServer(vclSrvCmd)
 
-       // run server app
-       _, err = hstExec("echo-server "+proto, echoSrv)
-       if err != nil {
-               t.Errorf("echo server: %v", err)
-               return
-       }
+       serverVeth := s.netInterfaces[serverInterfaceName]
+       serverVethAddress := serverVeth.ip4AddressString()
 
-       o, err := hstExec("echo-client "+proto, echoCln)
-       if err != nil {
-               t.Errorf("echo client: %v", err)
-       }
-       fmt.Println(o)
+       clientVpp := s.getContainerByName("client-vpp").vppInstance
+       o := clientVpp.vppctl("test echo client uri %s://%s/%s fifo-size 64k verbose mbytes 2", proto, serverVethAddress, port)
+       s.log(o)
+       s.assertContains(o, "Test finished at")
 }
 
-func (s *Veths2Suite) TestVclRetryAttach() {
-       s.testRetryAttach("tcp")
+func (s *VethsSuite) testVclEcho(proto string) {
+       port := "12345"
+       srvVppCont := s.getContainerByName("server-vpp")
+       srvAppCont := s.getContainerByName("server-app")
+
+       srvAppCont.createFile("/vcl.conf", getVclConfig(srvVppCont))
+       srvAppCont.addEnvVar("VCL_CONFIG", "/vcl.conf")
+       srvAppCont.execServer("vcl_test_server " + port)
+
+       serverVeth := s.netInterfaces[serverInterfaceName]
+       serverVethAddress := serverVeth.ip4AddressString()
+
+       echoClnContainer := s.getTransientContainerByName("client-app")
+       echoClnContainer.createFile("/vcl.conf", getVclConfig(echoClnContainer))
+
+       testClientCommand := "vcl_test_client -p " + proto + " " + serverVethAddress + " " + port
+       echoClnContainer.addEnvVar("VCL_CONFIG", "/vcl.conf")
+       o := echoClnContainer.exec(testClientCommand)
+       s.log(o)
 }
 
-func (s *Veths2Suite) testRetryAttach(proto string) {
-       t := s.T()
+func (s *VethsSuite) TestVclEchoTcp() {
+       s.testVclEcho("tcp")
+}
 
-       exechelper.Run("docker volume create --name=echo-srv-vol")
-       exechelper.Run("docker volume create --name=echo-cln-vol")
+func (s *VethsSuite) TestVclEchoUdp() {
+       s.testVclEcho("udp")
+}
 
-       srvInstance := "vpp-vcl-test-srv"
-       clnInstance := "vpp-vcl-test-cln"
-       echoSrv := "echo-srv"
-       echoCln := "echo-cln"
+// this test takes too long, for now it's being skipped
+func (s *VethsSuite) SkipTestVclRetryAttach() {
+       s.testRetryAttach("tcp")
+}
 
-       err := dockerRun(srvInstance, "-v echo-srv-vol:/tmp/2veths")
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + srvInstance) }()
+func (s *VethsSuite) testRetryAttach(proto string) {
+       srvVppContainer := s.getTransientContainerByName("server-vpp")
 
-       err = dockerRun(clnInstance, "-v echo-cln-vol:/tmp/2veths")
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + clnInstance) }()
+       echoSrvContainer := s.getContainerByName("server-app")
 
-       err = dockerRun(echoSrv, fmt.Sprintf("-v echo-srv-vol:/tmp/%s", echoSrv))
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + echoSrv) }()
+       echoSrvContainer.createFile("/vcl.conf", getVclConfig(echoSrvContainer))
 
-       err = dockerRun(echoCln, fmt.Sprintf("-v echo-cln-vol:/tmp/%s", echoCln))
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
-       defer func() { exechelper.Run("docker stop " + echoCln) }()
+       echoSrvContainer.addEnvVar("VCL_CONFIG", "/vcl.conf")
+       echoSrvContainer.execServer("vcl_test_server -p " + proto + " 12346")
 
-       _, err = hstExec("2veths srv-with-preset-hw-addr", srvInstance)
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
+       s.log("This whole test case can take around 3 minutes to run. Please be patient.")
+       s.log("... Running first echo client test, before disconnect.")
 
-       _, err = hstExec("2veths cln", clnInstance)
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
+       serverVeth := s.netInterfaces[serverInterfaceName]
+       serverVethAddress := serverVeth.ip4AddressString()
 
-       _, err = hstExec("vcl-test-server "+proto, echoSrv)
-       if err != nil {
-               t.Errorf("vcl test server: %v", err)
-               return
-       }
+       echoClnContainer := s.getTransientContainerByName("client-app")
+       echoClnContainer.createFile("/vcl.conf", getVclConfig(echoClnContainer))
 
-       fmt.Println("This whole test case can take around 3 minutes to run. Please be patient.")
-       fmt.Println("... Running first echo client test, before disconnect.")
-       _, err = hstExec("vcl-test-client "+proto, echoCln)
-       if err != nil {
-               t.Errorf("vcl test client: %v", err)
-               return
-       }
-       fmt.Println("... First test ended. Stopping VPP server now.")
+       testClientCommand := "vcl_test_client -U -p " + proto + " " + serverVethAddress + " 12346"
+       echoClnContainer.addEnvVar("VCL_CONFIG", "/vcl.conf")
+       o := echoClnContainer.exec(testClientCommand)
+       s.log(o)
+       s.log("... First test ended. Stopping VPP server now.")
 
        // Stop server-vpp-instance, start it again and then run vcl-test-client once more
+       srvVppContainer.vppInstance.disconnect()
        stopVppCommand := "/bin/bash -c 'ps -C vpp_main -o pid= | xargs kill -9'"
-       _, err = dockerExec(stopVppCommand, srvInstance)
-       if err != nil {
-               t.Errorf("error while stopping vpp: %v", err)
-               return
-       }
-       time.Sleep(5 * time.Second) // Give parent process time to reap the killed child process
-       stopVppCommand = "/bin/bash -c 'ps -C hs-test -o pid= | xargs kill -9'"
-       _, err = dockerExec(stopVppCommand, srvInstance)
-       if err != nil {
-               t.Errorf("error while stopping hs-test: %v", err)
-               return
-       }
-       _, err = hstExec("2veths srv-with-preset-hw-addr", srvInstance)
-       if err != nil {
-               t.Errorf("%v", err)
-               return
-       }
+       srvVppContainer.exec(stopVppCommand)
 
-       fmt.Println("... VPP server is starting again, so waiting for a bit.")
+       s.setupServerVpp()
+
+       s.log("... VPP server is starting again, so waiting for a bit.")
        time.Sleep(30 * time.Second) // Wait a moment for the re-attachment to happen
 
-       fmt.Println("... Running second echo client test, after disconnect and re-attachment.")
-       _, err = hstExec("vcl-test-client "+proto, echoCln)
-       if err != nil {
-               t.Errorf("vcl test client: %v", err)
-       }
-       fmt.Println("Done.")
+       s.log("... Running second echo client test, after disconnect and re-attachment.")
+       o = echoClnContainer.exec(testClientCommand)
+       s.log(o)
+       s.log("Done.")
 }