Julia 混合构建(release basecompiler/sysbase + debug sys)与调试笔记 (kimi)

本文档解释 julia-debugbuild.sh 的构建机制、sys-debug.so 由谁生成、为什么 debug 镜像用 -O0,
以及如何用 gdb 调试 Julia 代码。

#!/bin/bash
# Out-of-tree 构建:所有中间产物都在 julia-build/ 下,源码树保持干净
set -euo pipefail

SRC=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
BUILD="$SRC/julia-build"

# 首次运行先配置构建目录(生成指回源码树的 stub Makefile)
[ -f "$BUILD/Makefile" ] || make -C "$SRC" O="$BUILD" configure

make -C "$BUILD" print-DEBUGFLAGS
make -C "$BUILD" -j"$(nproc)" julia-src-release julia-sysbase-release

# build release
#make -C "$BUILD" -j"$(nproc)" julia-sysimg-release

# build debug
make -C "$BUILD" -j"$(nproc)" julia-sysimg-debug \
    CROSS_BOOTSTRAP_JULIA="$BUILD/usr/bin/julia" \
    CROSS_BOOTSTRAP_SYSBASE="$BUILD/usr/lib/julia/sysbase.so"

# 生成 compile_commands.json
make -C "$BUILD" compile-database
ln -sfnT "$BUILD/src/compile_commands.json" "$SRC/src/compile_commands.json"
ln -sfnT "$BUILD/flisp/src/compile_commands.json" "$SRC/src/flisp/compile_commands.json"
ln -sfnT "$BUILD/usr" "$SRC/usr"

1. Julia 的多段式构建

构建按阶段依次进行,每个阶段都由一个 julia 可执行文件驱动:

flisp 自举 → julia 运行时(libjulia 系列) → basecompiler.so → sysbase.so → sys.so

驱动哪个可执行文件由 Make.inc:1970-1989 决定:

  • JULIA_EXECUTABLE_release := $(build_bindir)/julia(release 运行时)
  • JULIA_EXECUTABLE_debug := $(build_bindir)/julia-debug(debug 运行时)
  • CROSS_BOOTSTRAP_JULIA 非空时,两者都被覆盖为它指向的外部 julia

镜像生成规则在 sysimage.mk:

产物 规则 驱动进程 优化级别 输入镜像
basecompiler.so base_builder, release julia -O1 —
basecompiler-debug.so base_builder,-debug julia-debug -O0 —
sysbase.so sysimg_builder, release julia -O3 basecompiler.so
sysbase-debug.so sysimg_builder,-debug julia-debug -O0 basecompiler-debug.so
sys.so sysimg_builder, release julia -O3 sysbase.so
sys-debug.so sysimg_builder,-debug julia-debug -O0 sysbase-debug.so

注意 sys 阶段的输入镜像可被覆盖(sysimage.mk:145):

build_sysbase_$1 := $(or $(CROSS_BOOTSTRAP_SYSBASE),.../sysbase$1.so)

2. 混合构建方案(julia-debugbuild.sh)

# 第一步:release 运行时 + release 构建的 basecompiler.so / sysbase.so(快)
make -C "$BUILD" julia-src-release julia-sysbase-release

# 第二步:debug 运行时 + sys-debug.so
make -C "$BUILD" julia-sysimg-debug \
    CROSS_BOOTSTRAP_JULIA="$BUILD/usr/bin/julia" \
    CROSS_BOOTSTRAP_SYSBASE="$BUILD/usr/lib/julia/sysbase.so"

核心问题:sys-debug.so 是谁编译出来的?

答案:由 release 版本的 julia 运行时、加载 release 版本的 sysbase.so 编译出来。

  • CROSS_BOOTSTRAP_JULIA 使 JULIA_EXECUTABLE_debug 指向 release 的 julia(Make.inc:1977-1984),
    所以跑 contrib/generate_precompile.jl、执行 inference/codegen 的进程是 release 运行时;
  • CROSS_BOOTSTRAP_SYSBASE 使 --sysimage 加载 release 构建的 sysbase.so(sysimage.mk:145);
  • basecompiler-debug.so / sysbase-debug.so 完全不会被构建——usr/lib/julia/ 下只有
    basecompiler.so、sysbase.so、sys-debug.so,与此吻合;
  • debug 运行时(libjulia-debug 系列 + julia-debug 二进制)仍会被编译,因为
    julia-sysimg-debug 依赖 julia-src-debug/julia-cli-debug(Makefile:141)。

sys-debug.so 的 "debug" 体现在哪

生成过程全在 release 进程里,debug 只来自三处:

  1. -O0:sysimage.mk:168 的 sysimg_builder,-debug,-O0,输出镜像里的 Julia native code 不优化;
  2. 链接目标库:sysimage.mk:25-34 对 -debug 后缀链 -ljulia-internal-debug -ljulia-debug;
  3. 加载关系:Make.inc:1987 规定 julia-debug 默认加载 sys-debug.so。

为什么混用可行

镜像头校验 jl_read_verify_header(src/staticdata_utils.c:1035-1059)只检查 magic、格式版本、
指针大小、JL_BUILD_UNAME、JL_BUILD_ARCH、JULIA_VERSION_STRING 和 GC image ABI,
不区分 release/debug。同一源码树出的两个运行时版本号一致,所以 release 进程生成的
sys-debug.so 能被 debug 运行时正常加载。

3. 为什么 debug 镜像的 Julia 代码用 -O0

目的是可调试性,与 C++ 侧 debug 用 -O0 配套:

  • Julia -O3 下 Base 小函数几乎全部内联,断点设不上、栈帧消失;
  • 局部变量被优化掉,gdb 里全是 <optimized out>;
  • 控制流重排导致单步时行号乱跳。

调试运行时时执行流必然穿过 Julia 代码(REPL、GC 触发路径、inference 驱动逻辑都是 Julia 写的),
所以 Julia 侧也要 -O0,保证从 C++ 到 Julia 整条链路可观察。

几个推论:

  • -O0 是输出属性不是生成过程属性;混合方案中 sys-debug.so 由 release 进程生成,构建速度不受影响;
  • 代价在运行时付:julia-debug 跑 Julia 代码很慢,只适合调正确性,不能看性能;
  • -O0 只冻结预编译进镜像的代码;julia-debug 启动后新 JIT 的代码仍由命令行 -O 控制
    (默认 -O2,见 src/jloptions.c:119)。

4. gdb 能给 Julia 代码下断点吗

能。 对 julia-build/usr/lib/julia/sys-debug.so 的实物验证:

  • 带完整 DWARF 段(.debug_info、.debug_line、.debug_str 等);
  • 含 2 万多个 julia_* mangled 函数符号(如 julia_getproperty_330,方法名 + specialization 编号);
  • 行号表嵌着源码绝对路径(如 .../base/coreio.jl),本机构建 gdb 可直接找到源文件。

三种下断点方式:

  1. 按符号名:b julia_getproperty_330,或 rbreak julia_.*getproperty.* 批量下;
  2. 按文件:行号:b coreio.jl:123;
  3. 从 Julia 侧埋点:代码里插 ccall(:jl_breakpoint, Cvoid, (Any,), x),gdb 里 b jl_breakpoint,
    命中后 call jl_(x) 打印该值(doc/src/devdocs/debuggingtips.md:61)。

运行时新 JIT 的代码也有支持:src/jitlayers.cpp 的 JLDebuginfoPlugin 通过
__jit_debug_register_code 把新编译对象注册给 gdb。

局限:

  • 一个方法有多个 specialization,b 文件:行号 可能解析出多个地址;
  • 查看 Julia 值要靠 call jl_(x)、jl_gdblookup($pc) 等辅助函数,不是原生体验;
  • 逻辑链要记牢:是"-O3 会废掉 gdb 对 Julia 代码的断点能力",所以 debug 镜像必须 -O0。

5. 调试自己执行的 Julia 源码

用 gdb 调试自己脚本的条件:

  1. 代码必须真的被编译成 native code(--compile=min 纯解释执行的代码断点不会命中);
  2. 显式传 -O0 --inline=no——sys-debug.so 里 Base/stdlib 已是 -O0,但自己脚本 JIT
    的代码默认 -O2,照样被内联优化;
  3. 从 gdb 里启动进程(JIT 符号在编译时刻注册,事后 attach 会错过);
  4. 先执行 handle SIGSEGV noprint nostop pass,否则 GC 触发的 SIGSEGV 会不停打断调试。

完整示例:

gdb --args julia-build/usr/bin/julia-debug -O0 --inline=no myscript.jl
(gdb) handle SIGSEGV noprint nostop pass
(gdb) b myscript.jl:42
(gdb) r

工具分工

  • 以 Julia 语义调试源码(逐行单步、看局部变量、条件断点):用 Julia 层调试器
    Debugger.jl / VS Code Julia 扩展 / Infiltrator.jl。它们基于 JuliaInterpreter 解释执行,
    与 sysimage 是 -O0 还是 -O3 无关,release 的 julia 也能用;
  • gdb + julia-debug:定位是调试运行时本身和 C++/Julia 边界的问题(GC 崩溃、codegen 断言、
    ccall/FFI 出错),Julia 侧断点能力是辅助手段。

6. 常用 gdb 技巧速查

来自 doc/src/devdocs/debuggingtips.md:

命令 作用
call jl_(x) 打印 jl_value_t*(输出在 julia 的 stdout)
call jl_gdblookup($pc) 查当前地址对应的 Julia 函数和行号
call jlbacktrace() 打印当前 Julia 栈
b jl_breakpoint 配合 Julia 代码里的 ccall(:jl_breakpoint, ...) 埋点
handle SIGSEGV noprint nostop pass 忽略 GC 的 SIGSEGV
posted @ 2026-10-27 10:50  cuzperf  阅读(4)  评论(0)    收藏  举报