2016222e7bf00d28edabb605d9da596e7e108afc
[rpm.git] / scripts / find-debuginfo.sh
1 #!/bin/bash
2 #find-debuginfo.sh - automagically generate debug info and file list
3 #for inclusion in an rpm spec file.
4 #
5 # Usage: find-debuginfo.sh [--strict-build-id] [-g] [-r] [-m] [-i]
6 #                          [-o debugfiles.list]
7 #                          [--run-dwz] [--dwz-low-mem-die-limit N]
8 #                          [--dwz-max-die-limit N]
9 #                          [--ver-rel VERSION-RELEASE]
10 #                          [[-l filelist]... [-p 'pattern'] -o debuginfo.list]
11 #                          [builddir]
12 #
13 # The -g flag says to use strip -g instead of full strip on DSOs or EXEs.
14 # The --strict-build-id flag says to exit with failure status if
15 # any ELF binary processed fails to contain a build-id note.
16 # The -r flag says to use eu-strip --reloc-debug-sections.
17 # The -m flag says to include a .gnu_debugdata section in the main binary.
18 # The -i flag says to include a .gdb_index section in the .debug file.
19 #
20 # A single -o switch before any -l or -p switches simply renames
21 # the primary output file from debugfiles.list to something else.
22 # A -o switch that follows a -p switch or some -l switches produces
23 # an additional output file with the debuginfo for the files in
24 # the -l filelist file, or whose names match the -p pattern.
25 # The -p argument is an grep -E -style regexp matching the a file name,
26 # and must not use anchors (^ or $).
27 #
28 # The --run-dwz flag instructs find-debuginfo.sh to run the dwz utility
29 # if available, and --dwz-low-mem-die-limit and --dwz-max-die-limit
30 # provide detailed limits.  See dwz(1) -l and -L option for details.
31 #
32 # If --ver-rel VERSION-RELEASE is given then debugedit is called to
33 # update the build-ids it finds adding the VERSION-RELEASE string as
34 # seed to recalculate the build-id hash.  This makes sure the
35 # build-ids in the ELF files are unique between versions and releases
36 # of the same package.
37 #
38 # All file names in switches are relative to builddir (. if not given).
39 #
40
41 # Figure out where we are installed so we can call other helper scripts.
42 lib_rpm_dir="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
43
44 # With -g arg, pass it to strip on libraries or executables.
45 strip_g=false
46
47 # with -r arg, pass --reloc-debug-sections to eu-strip.
48 strip_r=false
49
50 # with -m arg, add minimal debuginfo to binary.
51 include_minidebug=false
52
53 # with -i arg, add GDB index to .debug file.
54 include_gdb_index=false
55
56 # Barf on missing build IDs.
57 strict=false
58
59 # DWZ parameters.
60 run_dwz=false
61 dwz_low_mem_die_limit=
62 dwz_max_die_limit=
63
64 # Version and release of the spec. Given by --ver-rel
65 ver_rel=
66
67 # Arch given by --unique-debug-arch
68 unique_debug_arch=
69
70 # Number of parallel jobs to spawn
71 n_jobs=1
72
73 BUILDDIR=.
74 out=debugfiles.list
75 nout=0
76 while [ $# -gt 0 ]; do
77   case "$1" in
78   --strict-build-id)
79     strict=true
80     ;;
81   --run-dwz)
82     run_dwz=true
83     ;;
84   --dwz-low-mem-die-limit)
85     dwz_low_mem_die_limit=$2
86     shift
87     ;;
88   --dwz-max-die-limit)
89     dwz_max_die_limit=$2
90     shift
91     ;;
92   --ver-rel)
93     ver_rel=$2
94     shift
95     ;;
96   --unique-debug-arch)
97     unique_debug_arch=$2
98     shift
99     ;;
100   -g)
101     strip_g=true
102     ;;
103   -m)
104     include_minidebug=true
105     ;;
106   -i)
107     include_gdb_index=true
108     ;;
109   -o)
110     if [ -z "${lists[$nout]}" -a -z "${ptns[$nout]}" ]; then
111       out=$2
112     else
113       outs[$nout]=$2
114       ((nout++))
115     fi
116     shift
117     ;;
118   -l)
119     lists[$nout]="${lists[$nout]} $2"
120     shift
121     ;;
122   -p)
123     ptns[$nout]=$2
124     shift
125     ;;
126   -r)
127     strip_r=true
128     ;;
129   -j)
130     n_jobs=$2
131     shift
132     ;;
133   -j*)
134     n_jobs=${1#-j}
135     ;;
136   *)
137     BUILDDIR=$1
138     shift
139     break
140     ;;
141   esac
142   shift
143 done
144
145 if test -z "$ver_rel" -a -n "$unique_debug_arch"; then
146   echo >&2 "*** ERROR: --unique-debug-arch (${unique_debug_arch}) needs --ver-rel (${ver_rel})"
147   exit 2
148 fi
149
150 i=0
151 while ((i < nout)); do
152   outs[$i]="$BUILDDIR/${outs[$i]}"
153   l=''
154   for f in ${lists[$i]}; do
155     l="$l $BUILDDIR/$f"
156   done
157   lists[$i]=$l
158   ((++i))
159 done
160
161 LISTFILE="$BUILDDIR/$out"
162 SOURCEFILE="$BUILDDIR/debugsources.list"
163 LINKSFILE="$BUILDDIR/debuglinks.list"
164 ELFBINSFILE="$BUILDDIR/elfbins.list"
165
166 > "$SOURCEFILE"
167 > "$LISTFILE"
168 > "$LINKSFILE"
169 > "$ELFBINSFILE"
170
171 debugdir="${RPM_BUILD_ROOT}/usr/lib/debug"
172
173 strip_to_debug()
174 {
175   local g=
176   local r=
177   $strip_r && r=--reloc-debug-sections
178   $strip_g && case "$(file -bi "$2")" in
179   application/x-sharedlib*) g=-g ;;
180   application/x-executable*) g=-g ;;
181   esac
182   eu-strip --remove-comment $r $g -f "$1" "$2" || exit
183   chmod 444 "$1" || exit
184 }
185
186 add_minidebug()
187 {
188   local debuginfo="$1"
189   local binary="$2"
190
191   local dynsyms=`mktemp`
192   local funcsyms=`mktemp`
193   local keep_symbols=`mktemp`
194   local mini_debuginfo=`mktemp`
195
196   # Extract the dynamic symbols from the main binary, there is no need to also have these
197   # in the normal symbol table
198   nm -D "$binary" --format=posix --defined-only | awk '{ print $1 }' | sort > "$dynsyms"
199   # Extract all the text (i.e. function) symbols from the debuginfo
200   nm "$debuginfo" --format=posix --defined-only | awk '{ if ($2 == "T" || $2 == "t") print $1 }' | sort > "$funcsyms"
201   # Keep all the function symbols not already in the dynamic symbol table
202   comm -13 "$dynsyms" "$funcsyms" > "$keep_symbols"
203   # Copy the full debuginfo, keeping only a minumal set of symbols and removing some unnecessary sections
204   objcopy -S --remove-section .gdb_index --remove-section .comment --keep-symbols="$keep_symbols" "$debuginfo" "$mini_debuginfo" &> /dev/null
205   #Inject the compressed data into the .gnu_debugdata section of the original binary
206   xz "$mini_debuginfo"
207   mini_debuginfo="${mini_debuginfo}.xz"
208   objcopy --add-section .gnu_debugdata="$mini_debuginfo" "$binary"
209   rm -f "$dynsyms" "$funcsyms" "$keep_symbols" "$mini_debuginfo"
210 }
211
212 # Make a relative symlink to $1 called $3$2
213 shopt -s extglob
214 link_relative()
215 {
216   local t="$1" f="$2" pfx="$3"
217   local fn="${f#/}" tn="${t#/}"
218   local fd td d
219
220   while fd="${fn%%/*}"; td="${tn%%/*}"; [ "$fd" = "$td" ]; do
221     fn="${fn#*/}"
222     tn="${tn#*/}"
223   done
224
225   d="${fn%/*}"
226   if [ "$d" != "$fn" ]; then
227     d="${d//+([!\/])/..}"
228     tn="${d}/${tn}"
229   fi
230
231   mkdir -p "$(dirname "$pfx$f")" && ln -snf "$tn" "$pfx$f"
232 }
233
234 # Make a symlink in /usr/lib/debug/$2 to $1
235 debug_link()
236 {
237   local l="/usr/lib/debug$2"
238   local t="$1"
239   echo >> "$LINKSFILE" "$l $t"
240   link_relative "$t" "$l" "$RPM_BUILD_ROOT"
241 }
242
243 get_debugfn()
244 {
245   dn=$(dirname "${1#$RPM_BUILD_ROOT}")
246   if test -n "${unique_debug_arch}"; then
247     bn=$(basename "$1" .debug)-${ver_rel}.${unique_debug_arch}.debug
248   else
249     bn=$(basename "$1" .debug).debug
250   fi
251
252   debugdn=${debugdir}${dn}
253   debugfn=${debugdn}/${bn}
254 }
255
256 set -o pipefail
257
258 strict_error=ERROR
259 $strict || strict_error=WARNING
260
261 temp=$(mktemp -d ${TMPDIR:-/tmp}/find-debuginfo.XXXXXX)
262 trap 'rm -rf "$temp"' EXIT
263
264 # Build a list of unstripped ELF files and their hardlinks
265 touch "$temp/primary"
266 find "$RPM_BUILD_ROOT" ! -path "${debugdir}/*.debug" -type f \
267                      \( -perm -0100 -or -perm -0010 -or -perm -0001 \) \
268                      -print |
269 file -N -f - | sed -n -e 's/^\(.*\):[   ]*.*ELF.*, not stripped.*/\1/p' |
270 xargs --no-run-if-empty stat -c '%h %D_%i %n' |
271 while read nlinks inum f; do
272   if [ $nlinks -gt 1 ]; then
273     var=seen_$inum
274     if test -n "${!var}"; then
275       echo "$inum $f" >>"$temp/linked"
276       continue
277     else
278       read "$var" < <(echo 1)
279     fi
280   fi
281   echo "$nlinks $inum $f" >>"$temp/primary"
282 done
283
284 # Strip ELF binaries
285 do_file()
286 {
287   local nlinks=$1 inum=$2 f=$3 id link linked
288
289   get_debugfn "$f"
290   [ -f "${debugfn}" ] && return
291
292   echo "extracting debug info from $f"
293   build_id_seed=
294   if [ ! -z "$ver_rel" ]; then
295     build_id_seed="--build-id-seed=$ver_rel"
296   fi
297   id=$(${lib_rpm_dir}/debugedit -b "$RPM_BUILD_DIR" -d /usr/src/debug \
298                               -i $build_id_seed -l "$SOURCEFILE" "$f") || exit
299   if [ -z "$id" ]; then
300     echo >&2 "*** ${strict_error}: No build ID note found in $f"
301     $strict && exit 2
302   fi
303
304   # Add .gdb_index if requested.
305   if $include_gdb_index; then
306     if type gdb-add-index >/dev/null 2>&1; then
307       gdb-add-index "$f"
308     else
309       echo >&2 "*** ERROR: GDB index requested, but no gdb-add-index installed"
310       exit 2
311     fi
312   fi
313
314   # A binary already copied into /usr/lib/debug doesn't get stripped,
315   # just has its file names collected and adjusted.
316   case "$dn" in
317   /usr/lib/debug/*)
318     continue ;;
319   esac
320
321   mkdir -p "${debugdn}"
322   if test -w "$f"; then
323     strip_to_debug "${debugfn}" "$f"
324   else
325     chmod u+w "$f"
326     strip_to_debug "${debugfn}" "$f"
327     chmod u-w "$f"
328   fi
329
330   # strip -g implies we have full symtab, don't add mini symtab in that case.
331   $strip_g || ($include_minidebug && add_minidebug "${debugfn}" "$f")
332
333   echo "./${f#$RPM_BUILD_ROOT}" >> "$ELFBINSFILE"
334
335   # If this file has multiple links, make the corresponding .debug files
336   # all links to one file too.
337   if [ $nlinks -gt 1 ]; then
338     grep "^$inum " "$temp/linked" | while read inum linked; do
339       link=$debugfn
340       get_debugfn "$linked"
341       echo "hard linked $link to $debugfn"
342       mkdir -p "$(dirname "$debugfn")" && ln -nf "$link" "$debugfn"
343     done
344   fi
345 }
346
347 # 16^6 - 1 or about 16 milion files
348 FILENUM_DIGITS=6
349 run_job()
350 {
351   local jobid=$1 filenum
352   local SOURCEFILE=$temp/debugsources.$jobid ELFBINSFILE=$temp/elfbins.$jobid
353
354   >"$SOURCEFILE"
355   >"$ELFBINSFILE"
356   # can't use read -n <n>, because it reads bytes one by one, allowing for
357   # races
358   while :; do
359     filenum=$(dd bs=$(( FILENUM_DIGITS + 1 )) count=1 status=none)
360     if test -z "$filenum"; then
361       break
362     fi
363     do_file $(sed -n "$(( 0x$filenum )) p" "$temp/primary")
364   done
365   echo 0 >"$temp/res.$jobid"
366 }
367
368 n_files=$(wc -l <"$temp/primary")
369 if [ $n_jobs -gt $n_files ]; then
370   n_jobs=$n_files
371 fi
372 if [ $n_jobs -le 1 ]; then
373   while read nlinks inum f; do
374     do_file "$nlinks" "$inum" "$f"
375   done <"$temp/primary"
376 else
377   for ((i = 1; i <= n_files; i++)); do
378     printf "%0${FILENUM_DIGITS}x\\n" $i
379   done | (
380     exec 3<&0
381     for ((i = 0; i < n_jobs; i++)); do
382       # The shell redirects stdin to /dev/null for background jobs. Work
383       # around this by duplicating fd 0
384       run_job $i <&3 &
385     done
386     wait
387   )
388   for f in "$temp"/res.*; do
389     res=$(< "$f")
390     if [ "$res" !=  "0" ]; then
391       exit 1
392     fi
393   done
394   cat "$temp"/debugsources.* >"$SOURCEFILE"
395   cat "$temp"/elfbins.* >"$ELFBINSFILE"
396 fi
397
398 # Invoke the DWARF Compressor utility.
399 if $run_dwz \
400    && [ -d "${RPM_BUILD_ROOT}/usr/lib/debug" ]; then
401   dwz_files="`cd "${RPM_BUILD_ROOT}/usr/lib/debug"; find -type f -name \*.debug`"
402   if [ -n "${dwz_files}" ]; then
403     dwz_multifile_name="${RPM_PACKAGE_NAME}-${RPM_PACKAGE_VERSION}-${RPM_PACKAGE_RELEASE}.${RPM_ARCH}"
404     dwz_multifile_suffix=
405     dwz_multifile_idx=0
406     while [ -f "${RPM_BUILD_ROOT}/usr/lib/debug/.dwz/${dwz_multifile_name}${dwz_multifile_suffix}" ]; do
407       let ++dwz_multifile_idx
408       dwz_multifile_suffix=".${dwz_multifile_idx}"
409     done
410     dwz_multfile_name="${dwz_multifile_name}${dwz_multifile_suffix}"
411     dwz_opts="-h -q -r -m .dwz/${dwz_multifile_name}"
412     mkdir -p "${RPM_BUILD_ROOT}/usr/lib/debug/.dwz"
413     [ -n "${dwz_low_mem_die_limit}" ] \
414       && dwz_opts="${dwz_opts} -l ${dwz_low_mem_die_limit}"
415     [ -n "${dwz_max_die_limit}" ] \
416       && dwz_opts="${dwz_opts} -L ${dwz_max_die_limit}"
417     if type dwz >/dev/null 2>&1; then
418       ( cd "${RPM_BUILD_ROOT}/usr/lib/debug" && dwz $dwz_opts $dwz_files )
419     else
420       echo >&2 "*** ERROR: DWARF compression requested, but no dwz installed"
421       exit 2
422     fi
423     # Remove .dwz directory if empty
424     rmdir "${RPM_BUILD_ROOT}/usr/lib/debug/.dwz" 2>/dev/null
425     if [ -f "${RPM_BUILD_ROOT}/usr/lib/debug/.dwz/${dwz_multifile_name}" ]; then
426       id="`readelf -Wn "${RPM_BUILD_ROOT}/usr/lib/debug/.dwz/${dwz_multifile_name}" \
427              2>/dev/null | sed -n 's/^    Build ID: \([0-9a-f]\+\)/\1/p'`"
428     fi
429
430     # dwz invalidates .gnu_debuglink CRC32 in the main files.
431     cat "$ELFBINSFILE" |
432     (cd "$RPM_BUILD_ROOT"; \
433      xargs -d '\n' ${lib_rpm_dir}/sepdebugcrcfix usr/lib/debug)
434   fi
435 fi
436
437 # For each symlink whose target has a .debug file,
438 # make a .debug symlink to that file.
439 find "$RPM_BUILD_ROOT" ! -path "${debugdir}/*" -type l -print |
440 while read f
441 do
442   t=$(readlink -m "$f").debug
443   f=${f#$RPM_BUILD_ROOT}
444   t=${t#$RPM_BUILD_ROOT}
445   if [ -f "$debugdir$t" ]; then
446     echo "symlinked /usr/lib/debug$t to /usr/lib/debug${f}.debug"
447     debug_link "/usr/lib/debug$t" "${f}.debug"
448   fi
449 done
450
451 if [ -s "$SOURCEFILE" ]; then
452   mkdir -p "${RPM_BUILD_ROOT}/usr/src/debug"
453   LC_ALL=C sort -z -u "$SOURCEFILE" | grep -E -v -z '(<internal>|<built-in>)$' |
454   (cd "$RPM_BUILD_DIR"; cpio -pd0mL "${RPM_BUILD_ROOT}/usr/src/debug")
455   # stupid cpio creates new directories in mode 0700, fixup
456   find "${RPM_BUILD_ROOT}/usr/src/debug" -type d -print0 |
457   xargs --no-run-if-empty -0 chmod a+rx
458 fi
459
460 if [ -d "${RPM_BUILD_ROOT}/usr/lib" -o -d "${RPM_BUILD_ROOT}/usr/src" ]; then
461   ((nout > 0)) ||
462   test ! -d "${RPM_BUILD_ROOT}/usr/lib" ||
463   (cd "${RPM_BUILD_ROOT}/usr/lib"; find debug -type d) |
464   sed 's,^,%dir /usr/lib/,' >> "$LISTFILE"
465
466   (cd "${RPM_BUILD_ROOT}/usr"
467    test ! -d lib/debug || find lib/debug ! -type d
468    test ! -d src/debug || find src/debug -mindepth 1 -maxdepth 1
469   ) | sed 's,^,/usr/,' >> "$LISTFILE"
470 fi
471
472 # Append to $1 only the lines from stdin not already in the file.
473 append_uniq()
474 {
475   grep -F -f "$1" -x -v >> "$1"
476 }
477
478 # Helper to generate list of corresponding .debug files from a file list.
479 filelist_debugfiles()
480 {
481   local extra="$1"
482   shift
483   sed 's/^%[a-z0-9_][a-z0-9_]*([^)]*) *//
484 s/^%[a-z0-9_][a-z0-9_]* *//
485 /^$/d
486 '"$extra" "$@"
487 }
488
489 # Write an output debuginfo file list based on given input file lists.
490 filtered_list()
491 {
492   local out="$1"
493   shift
494   test $# -gt 0 || return
495   grep -F -f <(filelist_debugfiles 's,^.*$,/usr/lib/debug&.debug,' "$@") \
496         -x $LISTFILE >> $out
497   sed -n -f <(filelist_debugfiles 's/[\\.*+#]/\\&/g
498 h
499 s,^.*$,s# &$##p,p
500 g
501 s,^.*$,s# /usr/lib/debug&.debug$##p,p
502 ' "$@") "$LINKSFILE" | append_uniq "$out"
503 }
504
505 # Write an output debuginfo file list based on an grep -E -style regexp.
506 pattern_list()
507 {
508   local out="$1" ptn="$2"
509   test -n "$ptn" || return
510   grep -E -x -e "$ptn" "$LISTFILE" >> "$out"
511   sed -n -r "\#^$ptn #s/ .*\$//p" "$LINKSFILE" | append_uniq "$out"
512 }
513
514 #
515 # When given multiple -o switches, split up the output as directed.
516 #
517 i=0
518 while ((i < nout)); do
519   > ${outs[$i]}
520   filtered_list ${outs[$i]} ${lists[$i]}
521   pattern_list ${outs[$i]} "${ptns[$i]}"
522   grep -Fvx -f ${outs[$i]} "$LISTFILE" > "${LISTFILE}.new"
523   mv "${LISTFILE}.new" "$LISTFILE"
524   ((++i))
525 done
526 if ((nout > 0)); then
527   # Now add the right %dir lines to each output list.
528   (cd "${RPM_BUILD_ROOT}"; find usr/lib/debug -type d) |
529   sed 's#^.*$#\\@^/&/@{h;s@^.*$@%dir /&@p;g;}#' |
530   LC_ALL=C sort -ur > "${LISTFILE}.dirs.sed"
531   i=0
532   while ((i < nout)); do
533     sed -n -f "${LISTFILE}.dirs.sed" "${outs[$i]}" | sort -u > "${outs[$i]}.new"
534     cat "${outs[$i]}" >> "${outs[$i]}.new"
535     mv -f "${outs[$i]}.new" "${outs[$i]}"
536     ((++i))
537   done
538   sed -n -f "${LISTFILE}.dirs.sed" "${LISTFILE}" | sort -u > "${LISTFILE}.new"
539   cat "$LISTFILE" >> "${LISTFILE}.new"
540   mv "${LISTFILE}.new" "$LISTFILE"
541 fi