Add support for using documentation siphons in multiple ways
[vpp.git] / doxygen / Makefile
1 # Copyright (c) 2016 Comcast Cable Communications Management, LLC.
2 #
3 # Licensed under the Apache License, Version 2.0 (the "License");
4 # you may not use this file except in compliance with the License.
5 # You may obtain a copy of the License at:
6 #
7 #     http://www.apache.org/licenses/LICENSE-2.0
8 #
9 # Unless required by applicable law or agreed to in writing, software
10 # distributed under the License is distributed on an "AS IS" BASIS,
11 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12 # See the License for the specific language governing permissions and
13 # limitations under the License.
14
15 #
16 # Build the documentation
17 #
18
19 # Default target
20 .PHONY: all
21 all: doxygen
22
23 # These should be passed in by the root Makefile
24 WS_ROOT ?= $(CURDIR)/..
25 BR ?= $(WS_ROOT)/build-root
26
27 # We support MacOS for docs generation
28 ifeq ($(shell uname),Darwin)
29 OS_ID = darwin
30 endif
31
32 # Work out the OS if we haven't already
33 OS_ID ?= $(shell grep '^ID=' /etc/os-release | cut -f2- -d= | sed -e 's/\"//g')
34
35 # Package dependencies
36 DOC_DEB_DEPENDS = doxygen graphviz python-pyparsing python-jinja2
37 DOC_RPM_DEPENDS = doxygen graphviz pyparsing python-jinja2
38 DOC_MAC_BIN_DEPENDS = doxygen dot git
39 DOC_MAC_PY_DEPENDS = pyparsing jinja2
40
41 # Doxygen configuration and our utility scripts
42 DOXY_DIR ?= $(WS_ROOT)/doxygen
43
44 # Primary source directories
45 DOXY_SRC_DIRECTORIES = \
46         vppinfra \
47         svm \
48         vlib \
49         vlib-api \
50         vnet \
51         vpp \
52         vpp-api
53
54 # Input directories and files
55 DOXY_INPUT ?= \
56         $(wildcard $(WS_ROOT)/*.md) \
57         $(wildcard $(DOXY_DIR)/*.md) \
58         $(DOXY_SRC_DIRECTORIES) \
59         plugins
60
61 # Strip leading workspace path from input names
62 DOXY_INPUT := $(subst $(WS_ROOT)/,,$(DOXY_INPUT))
63
64 # Files to exclude, from pre-Doxygen steps, eg because they're
65 # selectively compiled.
66 # Examples would be to exclude non-DPDK related sources when
67 # there's a DPDK equivalent that conflicts.
68 # These must be left-anchored paths for the regexp below to work.
69 DOXY_EXCLUDE ?= \
70         vlib/vlib/buffer.c \
71         vlib/example \
72         plugins/sample-plugin
73
74 # Generate a regexp for filenames to exclude
75 DOXY_EXCLUDE_REGEXP = ($(subst .,\.,$(shell echo '$(strip $(DOXY_EXCLUDE))' | sed -e 's/ /|/g')))
76
77 # Include all the normal source directories in the include file path
78 DOXY_INCLUDE_PATH = $(DOXY_SRC_DIRECTORIES)
79
80 # Also include any plugin directories that exist
81 DOXY_INCLUDE_PATH += \
82         $(shell find $(WS_ROOT)/plugins -maxdepth 1 -type d | sed -e 's@^$(WS_ROOT)/*@@')
83
84 # Find API header directories and include them in the header path.
85 # This is only useful if VPP and plugins are already built; nothing
86 # here depends on those targets. We don't build documentation for these
87 # header files, they're just added to the INCLUDE search path for Doxygen.
88 _vpp_br = $(shell find "$(BR)" -maxdepth 1 -type d \
89         '(' -name build-vpp_debug-native -o -name build-vpp-native ')' -print \
90         | sed -e 's@^$(WS_ROOT)/*@@' -e 1q)
91 ifneq ($(strip $(_vpp_br)),)
92 DOXY_INCLUDE_PATH += \
93         $(_vpp_br)/vlib-api \
94         $(_vpp_br)/vpp
95 # Also include any plugin directories that exist
96 DOXY_INCLUDE_PATH += \
97         $(shell find $(WS_ROOT)/$(_vpp_br)/plugins -maxdepth 1 -type d | sed -e 's@^$(WS_ROOT)/*@@')
98 endif
99
100 # Discover if we have CPP available
101 _cpp = $(shell which cpp)
102 ifneq ($(strip $(_cpp)),)
103 # Add whatever directories CPP normally includes to the header path
104 DOXY_INCLUDE_PATH += $(shell set -e; $(_cpp) -v </dev/null 2>&1 | awk 'f&&/^ /{print $$1} /^\#include/{f=1}')
105 endif
106
107 # Target directory for doxygen output
108 DOXY_OUTPUT ?= $(BR)/docs
109
110 # Siphoned fragments end up in here
111 SIPHON_INPUT ?= $(DOXY_OUTPUT)/siphon_fragments
112
113 # Siphoned fragements are processed into here
114 SIPHON_OUTPUT ?= $(DOXY_OUTPUT)/siphon_docs
115
116 # Extra document inputs that are processed in addition to DOXY_INPUT
117 EXTRA_DOXY_INPUT += $(SIPHON_OUTPUT)
118
119 # All the siphon types we know about
120 SIPHONS ?= clicmd syscfg
121
122 SIPHON_FILES = $(addprefix $(SIPHON_INPUT)/,$(addsuffix .siphon,$(SIPHONS)))
123 SIPHON_DOCS = $(addprefix $(SIPHON_OUTPUT)/,$(addsuffix .md,$(SIPHONS)))
124 SIPHON_ITEMLIST = $(addprefix $(SIPHON_OUTPUT)/,$(addsuffix .itemlist,$(filter clicmd,$(SIPHONS))))
125
126 $(BR)/.doxygen-bootstrap.ok: Makefile
127         @echo "Checking whether dependencies for Doxygen are installed..."
128 ifeq ($(OS_ID),ubuntu)
129         @set -e; inst=; \
130                 for i in $(DOC_DEB_DEPENDS); do \
131                         dpkg-query --show $$i >/dev/null 2>&1 || inst="$$inst $$i"; \
132                 done; \
133                 if [ "$$inst" ]; then \
134                         sudo apt-get update; \
135                         sudo apt-get $(CONFIRM) $(FORCE) install $$inst; \
136                 fi
137         @if [ ! -s /usr/lib/graphviz/config6a ]; then \
138                 echo "Rebuidlding system Graphviz configuration."; \
139                 sudo dot -c; \
140         fi
141 else ifneq ("$(wildcard /etc/redhat-release)","")
142         @sudo yum install $(CONFIRM) $(DOC_RPM_DEPENDS)
143 else ifeq ($(OS_ID),darwin)
144         @set -e; \
145         for bin in $(DOC_MAC_BIN_DEPENDS); do \
146                 which -s $${bin} || (\
147                         echo "Program '$${bin}' not found, please install it."; \
148                         false; \
149                 ); \
150         done
151         @set -e; \
152         for py in $(DOC_MAC_PY_DEPENDS); do \
153                 python -c "import $${py}" >/dev/null 2>&1 || (\
154                         echo "Python package '$${py}' not found, please install it."; \
155                         false; \
156                 ); \
157         done
158 else
159         $(error "Building documentation currently works only on Ubuntu, CentOS or MacOS systems.")
160 endif
161         @touch $@
162
163 .PHONY: bootstrap-doxygen
164 bootstrap-doxygen: $(BR)/.doxygen-bootstrap.ok
165
166 .DELETE_ON_ERROR: $(BR)/.doxygen-siphon.dep
167 $(BR)/.doxygen-siphon.dep: Makefile
168         @echo "Building siphon dependencies..."
169         @set -e; rm -f "$@"; for input in $(DOXY_INPUT); do \
170                 find "$(WS_ROOT)/$$input" -type f \
171                         \( -name '*.[ch]' -or -name '*.dox' \) -print \
172                         | grep -v -E '^$(WS_ROOT)/$(DOXY_EXCLUDE_REGEXP)' \
173                         | sed -e "s/^/\$$(SIPHON_FILES): /" \
174                         >> $@; \
175         done
176
177 # Include the source -> siphon dependencies
178 -include $(BR)/.doxygen-siphon.dep
179
180 # Generate .siphon files that contain fragments of source file that
181 # relate to the siphons we support.
182 .NOTPARALLEL: $(SIPHON_FILES)
183 $(SIPHON_FILES): $(BR)/.doxygen-bootstrap.ok \
184                 $(DOXY_DIR)/siphon-generate \
185                 $(wildcard $(DOXY_DIR)/siphon/*.py)
186         @rm -rf "$(SIPHON_INPUT)" "$(SIPHON_OUTPUT)"
187         @mkdir -p "$(SIPHON_INPUT)" "$(SIPHON_OUTPUT)"
188         @touch $(SIPHON_INPUT)/files
189         @echo "Collating source file list for siphoning..."
190         @for input in $(DOXY_INPUT); do \
191                 cd "$(WS_ROOT)"; \
192                 find "$$input" -type f \
193                         \( -name '*.[ch]' -or -name '*.dox' \) -print \
194                         | grep -v -E '^$(DOXY_EXCLUDE_REGEXP)' \
195                         >> $(SIPHON_INPUT)/files; \
196         done
197         @echo "Generating siphons..."
198         @set -e; \
199         cd "$(WS_ROOT)"; \
200         $(DOXY_DIR)/siphon-generate \
201                 --output="$(SIPHON_INPUT)" \
202                 "@$(SIPHON_INPUT)/files"
203
204 # Evaluate this to build a siphon doc output target for each desired
205 # output type:
206 # $(eval $(call siphon-process,file_extension,output_type_name))
207 define siphon-process
208 $(SIPHON_OUTPUT)/%.$(1): $(SIPHON_INPUT)/%.siphon \
209                 $(DOXY_DIR)/siphon-process \
210                 $(wildcard $(DOXY_DIR)/siphon/*.py) \
211                 $(wildcard $(DOXY_DIR)/siphon_templates/$(2)/*/*.$(1))
212         @echo "Processing siphon for $(2) from $$(notdir $$<)..."
213         @set -e; \
214         cd "$(WS_ROOT)"; \
215         $(DOXY_DIR)/siphon-process \
216                 --type=$$(basename $$(notdir $$<)) \
217                 --format=$(2) \
218                 --output="$$@" \
219                 "$$<"
220 endef
221
222 # Process the .siphon source fragments and render them into doxygen flavored
223 # markdown documentation
224 .DELETE_ON_ERROR: $(SIPHON_DOCS)
225 $(eval $(call siphon-process,md,markdown))
226
227 # Process the .siphon source fragments and render them into a list of cli
228 # commands.
229 .DELETE_ON_ERROR: $(SIPHON_ITEMLIST)
230 $(eval $(call siphon-process,itemlist,itemlist))
231
232 # This target can be used just to generate the siphoned things
233 .PHONY: doxygen-siphon
234 doxygen-siphon: $(SIPHON_DOCS) $(SIPHON_ITEMLIST)
235
236 # Generate the doxygen docs
237 .PHONY: doxygen
238 doxygen: $(SIPHON_DOCS)
239         @mkdir -p "$(DOXY_OUTPUT)"
240         @echo "Running Doxygen..."
241         set -e; cd "$(WS_ROOT)"; \
242             ROOT="$(WS_ROOT)" \
243             BUILD_ROOT="$(BR)" \
244             INPUT="$(addprefix $(WS_ROOT)/,$(DOXY_INPUT)) $(EXTRA_DOXY_INPUT)" \
245             INCLUDE_PATH="$(DOXY_INCLUDE_PATH)" \
246             EXCLUDE="$(DOXY_EXCLUDE)" \
247             HTML=YES \
248             VERSION="`git describe --tags --dirty`" \
249             doxygen $(DOXY_DIR)/doxygen.cfg
250
251 .PHONY: wipe-doxygen
252 wipe-doxygen:
253         rm -rf "$(BR)/docs" "$(BR)/.doxygen-siphon.d"
254
255 .PHONY: clean
256 clean: wipe-doxygen