Julia 混合构建(release basecompiler/sysbase + debug sys)与调试笔记 (kimi)
本文档解释 julia-debugbuild.sh 的构建机制、sys-debug.so 由谁生成、为什么 debug 镜像用 -O0,
以及如何用 gdb 调试 Julia 代码。
#!/bin/bash
# Out-of-tree 构建:所有中间产物都在 julia-build/ 下,源码树保持干净
set -euo pipefail
SRC=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
BUILD="$SRC/julia-build"
# 首次运行先配置构建目录(生成指回源码树的 stub Makefile)
[ -f "$BUILD/Makefile" ] || make -C "$SRC" O="$BUILD" configure
make -C "$BUILD" print-DEBUGFLAGS
make -C "$BUILD" -j"$(nproc)" julia-src-release julia-sysbase-release
# build release
#make -C "$BUILD" -j"$(nproc)" julia-sysimg-release
# build debug
make -C "$BUILD" -j"$(nproc)" julia-sysimg-debug \
CROSS_BOOTSTRAP_JULIA="$BUILD/usr/bin/julia" \
CROSS_BOOTSTRAP_SYSBASE="$BUILD/usr/lib/julia/sysbase.so"
# 生成 compile_commands.json
make -C "$BUILD" compile-database
ln -sfnT "$BUILD/src/compile_commands.json" "$SRC/src/compile_commands.json"
ln -sfnT "$BUILD/flisp/src/compile_commands.json" "$SRC/src/flisp/compile_commands.json"
ln -sfnT "$BUILD/usr" "$SRC/usr"
1. Julia 的多段式构建
构建按阶段依次进行,每个阶段都由一个 julia 可执行文件驱动:
flisp 自举 → julia 运行时(libjulia 系列) → basecompiler.so → sysbase.so → sys.so
驱动哪个可执行文件由 Make.inc:1970-1989 决定:
JULIA_EXECUTABLE_release := $(build_bindir)/julia(release 运行时)JULIA_EXECUTABLE_debug := $(build_bindir)/julia-debug(debug 运行时)CROSS_BOOTSTRAP_JULIA非空时,两者都被覆盖为它指向的外部 julia
镜像生成规则在 sysimage.mk:
| 产物 | 规则 | 驱动进程 | 优化级别 | 输入镜像 |
|---|---|---|---|---|
basecompiler.so |
base_builder, |
release julia | -O1 |
— |
basecompiler-debug.so |
base_builder,-debug |
julia-debug | -O0 |
— |
sysbase.so |
sysimg_builder, |
release julia | -O3 |
basecompiler.so |
sysbase-debug.so |
sysimg_builder,-debug |
julia-debug | -O0 |
basecompiler-debug.so |
sys.so |
sysimg_builder, |
release julia | -O3 |
sysbase.so |
sys-debug.so |
sysimg_builder,-debug |
julia-debug | -O0 |
sysbase-debug.so |
注意 sys 阶段的输入镜像可被覆盖(sysimage.mk:145):
build_sysbase_$1 := $(or $(CROSS_BOOTSTRAP_SYSBASE),.../sysbase$1.so)
2. 混合构建方案(julia-debugbuild.sh)
# 第一步:release 运行时 + release 构建的 basecompiler.so / sysbase.so(快)
make -C "$BUILD" julia-src-release julia-sysbase-release
# 第二步:debug 运行时 + sys-debug.so
make -C "$BUILD" julia-sysimg-debug \
CROSS_BOOTSTRAP_JULIA="$BUILD/usr/bin/julia" \
CROSS_BOOTSTRAP_SYSBASE="$BUILD/usr/lib/julia/sysbase.so"
核心问题:sys-debug.so 是谁编译出来的?
答案:由 release 版本的 julia 运行时、加载 release 版本的 sysbase.so 编译出来。
CROSS_BOOTSTRAP_JULIA使JULIA_EXECUTABLE_debug指向 release 的julia(Make.inc:1977-1984),
所以跑contrib/generate_precompile.jl、执行 inference/codegen 的进程是 release 运行时;CROSS_BOOTSTRAP_SYSBASE使--sysimage加载 release 构建的sysbase.so(sysimage.mk:145);basecompiler-debug.so/sysbase-debug.so完全不会被构建——usr/lib/julia/下只有
basecompiler.so、sysbase.so、sys-debug.so,与此吻合;- debug 运行时(libjulia-debug 系列 + julia-debug 二进制)仍会被编译,因为
julia-sysimg-debug依赖julia-src-debug/julia-cli-debug(Makefile:141)。
sys-debug.so 的 "debug" 体现在哪
生成过程全在 release 进程里,debug 只来自三处:
-O0:sysimage.mk:168的sysimg_builder,-debug,-O0,输出镜像里的 Julia native code 不优化;- 链接目标库:
sysimage.mk:25-34对-debug后缀链-ljulia-internal-debug -ljulia-debug; - 加载关系:
Make.inc:1987规定julia-debug默认加载sys-debug.so。
为什么混用可行
镜像头校验 jl_read_verify_header(src/staticdata_utils.c:1035-1059)只检查 magic、格式版本、
指针大小、JL_BUILD_UNAME、JL_BUILD_ARCH、JULIA_VERSION_STRING 和 GC image ABI,
不区分 release/debug。同一源码树出的两个运行时版本号一致,所以 release 进程生成的
sys-debug.so 能被 debug 运行时正常加载。
3. 为什么 debug 镜像的 Julia 代码用 -O0
目的是可调试性,与 C++ 侧 debug 用 -O0 配套:
- Julia
-O3下 Base 小函数几乎全部内联,断点设不上、栈帧消失; - 局部变量被优化掉,gdb 里全是
<optimized out>; - 控制流重排导致单步时行号乱跳。
调试运行时时执行流必然穿过 Julia 代码(REPL、GC 触发路径、inference 驱动逻辑都是 Julia 写的),
所以 Julia 侧也要 -O0,保证从 C++ 到 Julia 整条链路可观察。
几个推论:
-O0是输出属性不是生成过程属性;混合方案中 sys-debug.so 由 release 进程生成,构建速度不受影响;- 代价在运行时付:julia-debug 跑 Julia 代码很慢,只适合调正确性,不能看性能;
-O0只冻结预编译进镜像的代码;julia-debug 启动后新 JIT 的代码仍由命令行-O控制
(默认-O2,见src/jloptions.c:119)。
4. gdb 能给 Julia 代码下断点吗
能。 对 julia-build/usr/lib/julia/sys-debug.so 的实物验证:
- 带完整 DWARF 段(
.debug_info、.debug_line、.debug_str等); - 含 2 万多个
julia_*mangled 函数符号(如julia_getproperty_330,方法名 + specialization 编号); - 行号表嵌着源码绝对路径(如
.../base/coreio.jl),本机构建 gdb 可直接找到源文件。
三种下断点方式:
- 按符号名:
b julia_getproperty_330,或rbreak julia_.*getproperty.*批量下; - 按文件:行号:
b coreio.jl:123; - 从 Julia 侧埋点:代码里插
ccall(:jl_breakpoint, Cvoid, (Any,), x),gdb 里b jl_breakpoint,
命中后call jl_(x)打印该值(doc/src/devdocs/debuggingtips.md:61)。
运行时新 JIT 的代码也有支持:src/jitlayers.cpp 的 JLDebuginfoPlugin 通过
__jit_debug_register_code 把新编译对象注册给 gdb。
局限:
- 一个方法有多个 specialization,
b 文件:行号可能解析出多个地址; - 查看 Julia 值要靠
call jl_(x)、jl_gdblookup($pc)等辅助函数,不是原生体验; - 逻辑链要记牢:是"
-O3会废掉 gdb 对 Julia 代码的断点能力",所以 debug 镜像必须-O0。
5. 调试自己执行的 Julia 源码
用 gdb 调试自己脚本的条件:
- 代码必须真的被编译成 native code(
--compile=min纯解释执行的代码断点不会命中); - 显式传
-O0 --inline=no——sys-debug.so 里 Base/stdlib 已是-O0,但自己脚本 JIT
的代码默认-O2,照样被内联优化; - 从 gdb 里启动进程(JIT 符号在编译时刻注册,事后 attach 会错过);
- 先执行
handle SIGSEGV noprint nostop pass,否则 GC 触发的 SIGSEGV 会不停打断调试。
完整示例:
gdb --args julia-build/usr/bin/julia-debug -O0 --inline=no myscript.jl
(gdb) handle SIGSEGV noprint nostop pass
(gdb) b myscript.jl:42
(gdb) r
工具分工
- 以 Julia 语义调试源码(逐行单步、看局部变量、条件断点):用 Julia 层调试器
Debugger.jl / VS Code Julia 扩展 / Infiltrator.jl。它们基于 JuliaInterpreter 解释执行,
与 sysimage 是-O0还是-O3无关,release 的 julia 也能用; - gdb + julia-debug:定位是调试运行时本身和 C++/Julia 边界的问题(GC 崩溃、codegen 断言、
ccall/FFI 出错),Julia 侧断点能力是辅助手段。
6. 常用 gdb 技巧速查
来自 doc/src/devdocs/debuggingtips.md:
| 命令 | 作用 |
|---|---|
call jl_(x) |
打印 jl_value_t*(输出在 julia 的 stdout) |
call jl_gdblookup($pc) |
查当前地址对应的 Julia 函数和行号 |
call jlbacktrace() |
打印当前 Julia 栈 |
b jl_breakpoint |
配合 Julia 代码里的 ccall(:jl_breakpoint, ...) 埋点 |
handle SIGSEGV noprint nostop pass |
忽略 GC 的 SIGSEGV |
浙公网安备 33010602011771号