api: API trace improvements
[vpp.git] / Makefile
index 268c87f..5c16b9a 100644 (file)
--- a/Makefile
+++ b/Makefile
 export WS_ROOT=$(CURDIR)
 export BR=$(WS_ROOT)/build-root
 CCACHE_DIR?=$(BR)/.ccache
+SHELL:=/bin/bash
 GDB?=gdb
 PLATFORM?=vpp
 SAMPLE_PLUGIN?=no
 STARTUP_DIR?=$(PWD)
 MACHINE=$(shell uname -m)
-SUDO?=sudo
+SUDO?=sudo -E
 DPDK_CONFIG?=no-pci
 
 ,:=,
@@ -62,14 +63,15 @@ endif
 # +libganglia1-dev if building the gmond plugin
 
 DEB_DEPENDS  = curl build-essential autoconf automake ccache
-DEB_DEPENDS += debhelper dkms git libtool libapr1-dev dh-systemd dh-python
+DEB_DEPENDS += debhelper dkms git libtool libapr1-dev dh-python
 DEB_DEPENDS += libconfuse-dev git-review exuberant-ctags cscope pkg-config
-DEB_DEPENDS += lcov chrpath autoconf indent clang-format libnuma-dev
+DEB_DEPENDS += lcov chrpath autoconf libnuma-dev
 DEB_DEPENDS += python3-all python3-setuptools check
-DEB_DEPENDS += libboost-all-dev libffi-dev python3-ply libmbedtls-dev
+DEB_DEPENDS += libffi-dev python3-ply libmbedtls-dev
 DEB_DEPENDS += cmake ninja-build uuid-dev python3-jsonschema python3-yaml
 DEB_DEPENDS += python3-venv  # ensurepip
 DEB_DEPENDS += python3-dev   # needed for python3 -m pip install psutil
+DEB_DEPENDS += libnl-3-dev libnl-route-3-dev
 # python3.6 on 16.04 requires python36-dev
 
 LIBFFI=libffi6 # works on all but 20.04 and debian-testing
@@ -77,17 +79,21 @@ LIBFFI=libffi6 # works on all but 20.04 and debian-testing
 ifeq ($(OS_VERSION_ID),18.04)
        DEB_DEPENDS += python-dev python-all python-pip python-virtualenv
        DEB_DEPENDS += libssl-dev
-       DEB_DEPENDS += clang-9
+       DEB_DEPENDS += clang-9 clang-format-10
 else ifeq ($(OS_VERSION_ID),20.04)
        DEB_DEPENDS += python3-virtualenv
        DEB_DEPENDS += libssl-dev
        DEB_DEPENDS += libelf-dev # for libbpf (af_xdp)
+       DEB_DEPENDS += clang-format-10
        LIBFFI=libffi7
-else ifeq ($(OS_ID)-$(OS_VERSION_ID),debian-9)
-       DEB_DEPENDS += libssl1.0-dev
-       DEB_DEPENDS += python-all python-pip
-       DEB_DEPENDS += python-dev python-all python-pip python-virtualenv
+else ifeq ($(OS_VERSION_ID),20.10)
+        DEB_DEPENDS += python3-virtualenv
+        DEB_DEPENDS += libssl-dev
+        DEB_DEPENDS += libelf-dev # for libbpf (af_xdp)
+        DEB_DEPENDS += clang-format-10
+        LIBFFI=libffi8ubuntu1
 else ifeq ($(OS_ID)-$(OS_VERSION_ID),debian-10)
+       DEB_DEPENDS += python3-virtualenv virtualenv
        DEB_DEPENDS += libssl-dev
        DEB_DEPENDS += libelf-dev # for libbpf (af_xdp)
 else
@@ -102,7 +108,6 @@ RPM_DEPENDS  = redhat-lsb glibc-static
 RPM_DEPENDS += apr-devel
 RPM_DEPENDS += numactl-devel
 RPM_DEPENDS += check check-devel
-RPM_DEPENDS += boost boost-devel
 RPM_DEPENDS += selinux-policy selinux-policy-devel
 RPM_DEPENDS += ninja-build
 RPM_DEPENDS += libuuid-devel
@@ -110,6 +115,7 @@ RPM_DEPENDS += mbedtls-devel
 RPM_DEPENDS += ccache
 RPM_DEPENDS += xmlto
 RPM_DEPENDS += elfutils-libelf-devel
+RPM_DEPENDS += libnl3-devel
 
 ifeq ($(OS_ID),fedora)
        RPM_DEPENDS += dnf-utils
@@ -122,10 +128,10 @@ ifeq ($(OS_ID),fedora)
        RPM_DEPENDS_GROUPS = 'C Development Tools and Libraries'
 else ifeq ($(OS_ID)-$(OS_VERSION_ID),centos-8)
        RPM_DEPENDS += yum-utils
-       RPM_DEPENDS += compat-openssl10
+       RPM_DEPENDS += compat-openssl10 openssl-devel
        RPM_DEPENDS += python2-devel python36-devel python3-ply
        RPM_DEPENDS += python3-virtualenv python3-jsonschema
-       RPM_DEPENDS += cmake
+       RPM_DEPENDS += libarchive cmake
        RPM_DEPENDS_GROUPS = 'Development Tools'
 else
        RPM_DEPENDS += yum-utils
@@ -191,8 +197,6 @@ help:
        @echo " pkg-deb-debug        - build DEB debug packages"
        @echo " pkg-snap             - build SNAP package"
        @echo " snap-clean           - clean up snap build environment"
-       @echo " vom-pkg-deb          - build vom DEB packages"
-       @echo " vom-pkg-deb-debug    - build vom DEB debug packages"
        @echo " pkg-rpm              - build RPM packages"
        @echo " install-ext-dep[s]   - install external development dependencies"
        @echo " ctags                - (re)generate ctags database"
@@ -202,6 +206,7 @@ help:
        @echo " checkstyle           - check coding style"
        @echo " checkstyle-commit    - check commit message format"
        @echo " checkstyle-test      - check test framework coding style"
+       @echo " checkstyle-test-diff - check test framework coding style (only changed files)"
        @echo " checkstyle-api       - check api for incompatible changes"
        @echo " fixstyle             - fix coding style"
        @echo " doxygen              - (re)generate documentation"
@@ -211,6 +216,7 @@ help:
        @echo " featurelist          - dump feature list in markdown"
        @echo " json-api-files       - (re)-generate json api files"
        @echo " json-api-files-debug - (re)-generate json api files for debug target"
+       @echo " go-api-files         - (re)-generate golang api files"
        @echo " docs                 - Build the Sphinx documentation"
        @echo " docs-venv            - Build the virtual environment for the Sphinx docs"
        @echo " docs-clean           - Remove the generated files from the Sphinx docs"
@@ -286,9 +292,10 @@ ifeq ($(OS_ID),rhel)
        @sudo -E debuginfo-install $(CONFIRM) glibc openssl-libs mbedtls-devel zlib
 else ifeq ($(OS_ID)-$(OS_VERSION_ID),centos-8)
        @sudo -E dnf install $(CONFIRM) dnf-plugins-core epel-release
-       @sudo -E dnf config-manager --set-enabled PowerTools
+       @sudo -E dnf config-manager --set-enabled \
+          $(shell dnf repolist all 2>/dev/null|grep -i powertools|cut -d' ' -f1)
        @sudo -E dnf groupinstall $(CONFIRM) $(RPM_DEPENDS_GROUPS)
-       @sudo -E dnf install $(CONFIRM) $(RPM_DEPENDS)
+       @sudo -E dnf install --skip-broken $(CONFIRM) $(RPM_DEPENDS)
 else ifeq ($(OS_ID),centos)
        @sudo -E yum install $(CONFIRM) centos-release-scl-rh epel-release
        @sudo -E yum groupinstall $(CONFIRM) $(RPM_DEPENDS_GROUPS)
@@ -329,7 +336,7 @@ dist:
              --format=tar \
              -o $(DIST_FILE) \
            HEAD ; \
-           git describe > $(BR)/.version ; \
+           git describe --long > $(BR)/.version ; \
        else \
            (cd .. ; tar -cf $(DIST_FILE) $(DIST_SUBDIR) --exclude=*.tar) ; \
            src/scripts/version > $(BR)/.version ; \
@@ -354,7 +361,7 @@ wipedist:
 .PHONY: wipe
 wipe: wipedist test-wipe $(BR)/.deps.ok
        $(call make,$(PLATFORM)_debug,$(addsuffix -wipe,$(TARGETS)))
-       @find . -type f -name "*.api.json" ! -path "./test/*" -exec rm {} \;
+       @find . -type f -name "*.api.json" ! -path "./src/*" -exec rm {} \;
 
 .PHONY: rebuild
 rebuild: wipe build
@@ -407,13 +414,11 @@ test-gcov:
 
 .PHONY: test-all
 test-all:
-       $(if $(filter-out $(3),retest),make -C $(BR) PLATFORM=vpp TAG=vpp vom-install,)
        $(eval EXTENDED_TESTS=yes)
        $(call test,vpp,vpp,test)
 
 .PHONY: test-all-debug
 test-all-debug:
-       $(if $(filter-out $(3),retest),make -C $(BR) PLATFORM=vpp TAG=vpp_debug vom-install,)
        $(eval EXTENDED_TESTS=yes)
        $(call test,vpp,vpp_debug,test)
 
@@ -459,7 +464,6 @@ test-wipe-doc:
 
 .PHONY: test-cov
 test-cov:
-       @make -C $(BR) PLATFORM=vpp TAG=vpp_gcov vom-install
        $(eval EXTENDED_TESTS=yes)
        $(call test,vpp,vpp_gcov,cov)
 
@@ -475,6 +479,10 @@ test-wipe-all:
 test-checkstyle:
        @make -C test checkstyle
 
+.PHONY: test-checkstyle-diff
+test-checkstyle-diff:
+       @make -C test checkstyle-diff
+
 .PHONY: test-refresh-deps
 test-refresh-deps:
        @make -C test refresh-deps
@@ -497,6 +505,14 @@ retest-all-debug:
        $(eval EXTENDED_TESTS=yes)
        $(call test,vpp,vpp_debug,retest)
 
+.PHONY: test-start-vpp-in-gdb
+test-start-vpp-in-gdb:
+       $(call test,vpp,vpp,start-gdb)
+
+.PHONY: test-start-vpp-debug-in-gdb
+test-start-vpp-debug-in-gdb:
+       $(call test,vpp,vpp_debug,start-gdb)
+
 ifeq ("$(wildcard $(STARTUP_CONF))","")
 define run
        @echo "WARNING: STARTUP_CONF not defined or file doesn't exist."
@@ -512,9 +528,7 @@ endef
 endif
 
 %.files: .FORCE
-       @find . \( -name '*\.[chyS]' -o -name '*\.java' -o -name '*\.lex' \) -and \
-               \( -not -path './build-root*' -o -path \
-               './build-root/build-vpp_debug-native/dpdk*' \) > $@
+       @find src -name '*.[chS]' > $@
 
 .FORCE:
 
@@ -533,6 +547,7 @@ debug:
 .PHONY: build-coverity
 build-coverity:
        $(call make,$(PLATFORM)_coverity,install-packages)
+       @make -C build-root PLATFORM=vpp TAG=vpp_coverity libmemif-install
 
 .PHONY: debug-release
 debug-release:
@@ -564,18 +579,10 @@ snap-clean:
         snapcraft clean ;                      \
        rm -f *.snap *.tgz
 
-.PHONY: vom-pkg-deb
-vom-pkg-deb: pkg-deb
-       $(call make,$(PLATFORM),vom-package-deb)
-
 .PHONY: pkg-deb-debug
 pkg-deb-debug:
        $(call make,$(PLATFORM)_debug,vpp-package-deb)
 
-.PHONY: vom-pkg-deb-debug
-vom-pkg-deb-debug: pkg-deb-debug
-       $(call make,$(PLATFORM)_debug,vom-package-deb)
-
 .PHONY: pkg-rpm
 pkg-rpm: dist
        make -C extras/rpm
@@ -584,11 +591,6 @@ pkg-rpm: dist
 pkg-srpm: dist
        make -C extras/rpm srpm
 
-.PHONY: dpdk-install-dev
-dpdk-install-dev:
-       $(call banner,"This command is deprecated. Please use 'make install-ext-deps'")
-       make -C build/external install-$(PKG)
-
 .PHONY: install-ext-deps
 install-ext-deps:
        make -C build/external install-$(PKG)
@@ -604,9 +606,13 @@ json-api-files:
 json-api-files-debug:
        $(WS_ROOT)/src/tools/vppapigen/generate_json.py --debug-target
 
+.PHONY: go-api-files
+go-api-files: json-api-files
+       $(WS_ROOT)/src/tools/vppapigen/generate_go.py
+
 .PHONY: ctags
 ctags: ctags.files
-       @ctags --totals --tag-relative -L $<
+       @ctags --totals --tag-relative=yes -L $<
        @rm $<
 
 .PHONY: gtags
@@ -619,11 +625,13 @@ cscope: cscope.files
 
 .PHONY: compdb
 compdb:
-       @ninja -C build-root/build-vpp_debug-native/vpp -t compdb > compile_commands.json
+       @ninja -C build-root/build-vpp_debug-native/vpp build.ninja
+       @ninja -C build-root/build-vpp_debug-native/vpp -t compdb | \
+         src/scripts/compdb_cleanup.py > compile_commands.json
 
 .PHONY: checkstyle
 checkstyle: checkfeaturelist
-       @build-root/scripts/checkstyle.sh
+       @extras/scripts/checkstyle.sh
 
 .PHONY: checkstyle-commit
 checkstyle-commit:
@@ -637,31 +645,28 @@ checkstyle-all: checkstyle-commit checkstyle checkstyle-test
 
 .PHONY: fixstyle
 fixstyle:
-       @build-root/scripts/checkstyle.sh --fix
+       @extras/scripts/checkstyle.sh --fix
 
 .PHONY: checkstyle-api
 checkstyle-api:
-       @extras/scripts/crcchecker.py --check-patch
+       @extras/scripts/crcchecker.py --check-patchset
 
 # necessary because Bug 1696324 - Update to python3.6 breaks PyYAML dependencies
 # Status:      CLOSED CANTFIX
 # https://bugzilla.redhat.com/show_bug.cgi?id=1696324
 .PHONY: centos-pyyaml
 centos-pyyaml:
-ifeq ($(OS_ID)-$(OS_VERSION_ID),centos-7)
-       @python3 -m pip install pyyaml
-endif
 ifeq ($(OS_ID)-$(OS_VERSION_ID),centos-8)
        @sudo -E yum install $(CONFIRM) python3-pyyaml
 endif
 
 .PHONY: featurelist
 featurelist: centos-pyyaml
-       @build-root/scripts/fts.py --all --markdown
+       @extras/scripts/fts.py --all --markdown
 
 .PHONY: checkfeaturelist
 checkfeaturelist: centos-pyyaml
-       @build-root/scripts/fts.py --validate --all
+       @extras/scripts/fts.py --validate --all
 
 #
 # Build the documentation
@@ -712,14 +717,8 @@ pkg-verify: install-dep $(BR)/.deps.ok install-ext-deps
        @make -C build-root PLATFORM=vpp TAG=vpp sample-plugin-install
        $(call banner,"Building libmemif")
        @make -C build-root PLATFORM=vpp TAG=vpp libmemif-install
-       $(call banner,"Building VOM")
-       @make -C build-root PLATFORM=vpp TAG=vpp vom-install
        $(call banner,"Building $(PKG) packages")
        @make pkg-$(PKG)
-ifeq ($(OS_ID),ubuntu)
-       $(call banner,"Building VOM $(PKG) package")
-       @make vom-pkg-deb
-endif
 
 MAKE_VERIFY_GATE_OS ?= ubuntu-18.04
 .PHONY: verify