5af8f08f99025e0568ae9608a8359bd0d4756454
[csit.git] / resources / tools / disk-image-builder / ubuntu / run-listmaker.sh
1 #!/bin/bash
2
3 # Copyright (c) 2016 Cisco and/or its affiliates.
4 # Licensed under the Apache License, Version 2.0 (the "License");
5 # you may not use this file except in compliance with the License.
6 # You may obtain a copy of the License at:
7 #
8 #     http://www.apache.org/licenses/LICENSE-2.0
9 #
10 # Unless required by applicable law or agreed to in writing, software
11 # distributed under the License is distributed on an "AS IS" BASIS,
12 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13 # See the License for the specific language governing permissions and
14 # limitations under the License.
15
16 # This script is to spin up a simulation in VIRL, and fetch the URLs for all packages
17 # that the user would obtain if they did an "apt-get update", "apt-get upgrade" today.
18 #
19 # This entire step is neither secure nor portable. The assumption --for now-- is that
20 # this will only ever be run in LF CSIT VIRL lab. Should the requirement arise to
21 # run this elsewhere, then additional work may be required to make this more
22 # portable.
23
24 # This script requires that the following two environment variables be defined-
25 #
26 # $VIRL_USER
27 # $VIRL_PASSWORD
28
29 VERSION=$(cat $(dirname $0)/CHANGELOG  | grep '^## ' | head -1 | sed -e 's/.*\[\(.*\)\].*/\1/')
30 if [ "${VERSION}" = "" ]
31 then
32   echo "Unable to determine build version from CHANGELOG file. Make sure"
33   echo "that there is an entry for the most recent version in CHANGELOG,"
34   echo "and that the entry is formated like"
35   echo
36   echo "## [1.0] - 2016-05-20"
37   exit 1
38 fi
39 DATE=$(date +%Y-%m-%d)
40 OS="ubuntu-14.04.4"
41 RELEASE="${OS}_${DATE}_${VERSION}"
42 OUTPUT_DIR="lists/${RELEASE}"
43
44 echo "Building release ${RELEASE}."
45 echo "Storinging data in ${OUTPUT_DIR}/."
46
47
48 # APT packages wanted
49
50 APT_WANTLIST_INFRA="nfs-common cloud-init"
51 APT_WANTLIST_CSIT="python-dev python-virtualenv git strongswan"
52 APT_WANTLIST_VPP="dkms bridge-utils"
53 APT_WANTLIST_TREX="zlib1g-dev unzip"
54 APT_WANTLIST_NESTED="qemu-system-x86"
55 APT_WANTLIST_JAVA="openjdk-8-jdk-headless"
56 APT_WANTLIST_DOCKER="docker-engine"
57
58 # For now, let us NOT incude WANTLIST_NESTED in the below. We're installing qemu
59 # separately from a separate source.
60 APT_WANTLIST="$APT_WANTLIST_INFRA $APT_WANTLIST_CSIT $APT_WANTLIST_VPP $WANTLIST_TREX"
61
62 APT_OUTPUTFILE="${OUTPUT_DIR}/apt-packages.txt"
63
64 # Python requirements file. Can point to a manually crafted file
65 # here, or to the actual CSIT requirements file, or to a symlink.
66
67 PIP_REQUIREMENTS="../../../../requirements.txt"
68 if [ ! -f ${PIP_REQUIREMENTS} ]
69 then
70   echo "PIP requirements file ${PIP_REQUIREMENTS} not found."
71   exit 1
72 fi
73
74 PIP_OUTPUTFILE="${OUTPUT_DIR}/pip-requirements.txt"
75
76 # These will be used for SSH to the listmaker VM, and must match with what
77 # was defined in the listmaker VM's kickstart file.
78 SSH_USER="root"
79 SSH_PASS="csit"
80
81 VIRL_TOPOLOGY_FILE="listmaker/virl-listmaker.yaml"
82
83 ###
84 ### Spin up simulation
85 ###
86 if [ "$VIRL_USER" = "" ] || [ "$VIRL_PASSWORD" = "" ]
87 then
88   echo '$VIRL_USER and $VIRL_PASSWORD environment variables must be defined'
89   exit 1
90 fi
91
92 output=$(virl_std_client -u ${VIRL_USER} -p ${VIRL_PASSWORD} \
93   simengine-launch -f ${VIRL_TOPOLOGY_FILE} 2>&1)
94 id=$(echo "${output}" | grep "Simulation ID is " | cut -f 4 -d ' ')
95
96 if [ "$id" = "" ]
97 then
98   echo "Did not get a simulation ID. Aborting."
99   echo "Output was:"
100   echo "${output}"
101   exit 1
102 fi
103
104 echo My ID is ${id}
105 function stop_sim {
106   virl_std_client -u ${VIRL_USER} -p ${VIRL_PASSWORD} simengine-stop --session ${id}
107 }
108 trap stop_sim EXIT
109
110 ip="None"
111 while [ "${ip}" = "None" ] || [ "${ip}" = "" ]
112 do
113   sleep 5
114   output=$(virl_std_client -u ${VIRL_USER} -p ${VIRL_PASSWORD} simengine-interfaces --session ${id} --nodes listmaker --interfaces management 2>&1)
115   ip=$(echo "${output}" | grep "u'ip-address" | cut -f 4 -d "'" | cut -f 1 -d '/')
116 done
117 echo "IP is $ip"
118
119 sleep 10
120
121 if ping -w 60 -c 2 $ip > /dev/null
122 then
123   echo Host $ip alive
124 else
125   echo Host $ip failed to respond to ping
126   exit 1
127 fi
128
129 # Wait for SSH to be up
130 while ! nc -z $ip 22
131 do
132   sleep 3
133 done
134
135 mkdir -p $OUTPUT_DIR
136
137 ###
138 ### SSH to the VM and perform package installation. Before each step,
139 ### dry-run and grab the URLs of the packages that would be installed.
140 ###
141
142 function do_ssh {
143   # Helper function: SSH and avoid password prompt
144   sshpass -p $SSH_PASS ssh -o StrictHostKeyChecking=false -o UserKnownHostsFile=/dev/null \
145     -o LogLevel=error ${SSH_USER}@${ip} "$@"
146 }
147
148 do_ssh "cat - > /etc/apt/sources.list" <<_EOF
149 deb http://us.archive.ubuntu.com/ubuntu/ trusty main restricted
150 deb-src http://us.archive.ubuntu.com/ubuntu/ trusty main restricted
151 deb http://us.archive.ubuntu.com/ubuntu/ trusty-updates main restricted
152 deb-src http://us.archive.ubuntu.com/ubuntu/ trusty-updates main restricted
153 deb http://us.archive.ubuntu.com/ubuntu/ trusty universe
154 deb-src http://us.archive.ubuntu.com/ubuntu/ trusty universe
155 deb http://us.archive.ubuntu.com/ubuntu/ trusty-updates universe
156 deb-src http://us.archive.ubuntu.com/ubuntu/ trusty-updates universe
157 deb http://us.archive.ubuntu.com/ubuntu/ trusty multiverse
158 deb-src http://us.archive.ubuntu.com/ubuntu/ trusty multiverse
159 deb http://us.archive.ubuntu.com/ubuntu/ trusty-updates multiverse
160 deb-src http://us.archive.ubuntu.com/ubuntu/ trusty-updates multiverse
161 deb http://us.archive.ubuntu.com/ubuntu/ trusty-backports main restricted universe multiverse
162 deb-src http://us.archive.ubuntu.com/ubuntu/ trusty-backports main restricted universe multiverse
163 deb http://security.ubuntu.com/ubuntu trusty-security main restricted
164 deb-src http://security.ubuntu.com/ubuntu trusty-security main restricted
165 deb http://security.ubuntu.com/ubuntu trusty-security universe
166 deb-src http://security.ubuntu.com/ubuntu trusty-security universe
167 deb http://security.ubuntu.com/ubuntu trusty-security multiverse
168 deb-src http://security.ubuntu.com/ubuntu trusty-security multiverse
169 _EOF
170
171
172 ### FIXME: Need error handling around all this
173 do_ssh apt-get update
174
175 APT_TEMPFILE=$(mktemp)
176 do_ssh apt-get --print-uris -y dist-upgrade >> $APT_TEMPFILE
177 do_ssh DEBIAN_FRONTEND=noninteractive apt-get -y dist-upgrade
178 do_ssh apt-get --print-uris -y install $APT_WANTLIST >> $APT_TEMPFILE
179 do_ssh DEBIAN_FRONTEND=noninteractive apt-get -y install $APT_WANTLIST
180
181 ### Install qemu ($APT_WANTLIST_NESTED) separately from PPA
182 do_ssh "cat - >> /etc/apt/sources.list" <<_EOF
183 # For a custom qemu build
184 deb http://ppa.launchpad.net/syseleven-platform/virtualization/ubuntu trusty main
185 deb-src http://ppa.launchpad.net/syseleven-platform/virtualization/ubuntu trusty main
186 _EOF
187 do_ssh apt-get --allow-unauthenticated update
188 do_ssh apt-get --print-uris --allow-unauthenticated -y install $APT_WANTLIST_NESTED >> $APT_TEMPFILE
189 do_ssh DEBIAN_FRONTEND=noninteractive apt-get --allow-unauthenticated -y install $APT_WANTLIST_NESTED
190
191 ### Install Java ($APT_WANTLIST_JAVA) separately from PPA
192 do_ssh "cat - >> /etc/apt/sources.list" <<_EOF
193 # For java
194 deb http://ppa.launchpad.net/openjdk-r/ppa/ubuntu trusty main
195 _EOF
196 do_ssh apt-get --allow-unauthenticated update
197 do_ssh apt-get --print-uris --allow-unauthenticated -y install $APT_WANTLIST_JAVA >> $APT_TEMPFILE
198 do_ssh DEBIAN_FRONTEND=noninteractive apt-get --allow-unauthenticated -y install $APT_WANTLIST_JAVA
199
200 ### Install Docker ($APT_WANTLIST_DOCKER) separately from PPA
201 do_ssh "cat - >> /etc/apt/sources.list" <<_EOF
202 # For Docker
203 deb https://apt.dockerproject.org/repo ubuntu-trusty main
204 _EOF
205 do_ssh apt-get --allow-unauthenticated update
206 do_ssh apt-get --print-uris --allow-unauthenticated -y install $APT_WANTLIST_DOCKER >> $APT_TEMPFILE
207 do_ssh DEBIAN_FRONTEND=noninteractive apt-get --allow-unauthenticated -y install $APT_WANTLIST_DOCKER
208
209 cat $APT_TEMPFILE | grep MD5Sum | sort > $APT_OUTPUTFILE
210 rm -f $APT_TEMPFILE
211
212 ### Get Python data. We do this by installing as per our
213 ### requirements.txt file while fetching a list of all
214 ### installed modules before and after, and then comparing.
215
216 PIP_TEMPFILE_BEFORE=$(mktemp)
217 PIP_TEMPFILE_AFTER=$(mktemp)
218 do_ssh "cat - > /tmp/requirements.txt" < ${PIP_REQUIREMENTS}
219 do_ssh pip list | sort > $PIP_TEMPFILE_BEFORE
220 do_ssh pip install -r /tmp/requirements.txt
221 do_ssh pip list | sort > $PIP_TEMPFILE_AFTER
222
223 comm -1 -3 ${PIP_TEMPFILE_BEFORE} ${PIP_TEMPFILE_AFTER} | \
224   sed -e 's/\(.*\) (\(.*\))/\1==\2/' > $PIP_OUTPUTFILE
225 rm -f $PIP_TEMPFILE_BEFORE
226 rm -f $PIP_TEMPFILE_AFTER
227
228 ###
229 ### Stop VIRL session
230 ###
231 virl_std_client -u ${VIRL_USER} -p ${VIRL_PASSWORD} simengine-stop --session ${id}
232 trap "" EXIT

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.