Linux Kernel调试环境搭建(正式版)
简单记录下可行的kernel调试工具和步骤。
(本文是从本人的github上迁移过来的)
调试使用4.18版本的kernel， 用到的工具是qemu+gdb
1. 调试环境说明
Host主机是centos7.6的环境
2. 编译需要调试的内核（4.18 version）
首先下载内核tar包：
wget https://mirrors.aliyun.com/linux-kernel/v4.x/linux-4.18.2.tar.gz
可能需要安装：
yum install flex.x86_64 bison.x86_64 elfutils-libelf-devel -y
可能需要安装的依赖：
yum groupinstall "Development Tools" -y && yum install ncurses-devel -y && yum install hmaccalc zlib-devel binutils-devel elfutils-libelf-devel -y
yum install openssl-devel -y
yum install bc -y
yum install glibc-static -y
yum install openssl -y
解压后开始编译：
make defconfig
make kvmconfig
make -j4
参考：https://www.cnblogs.com/powerrailgun/category/1554674.html
以上步骤结束后会产生用于调试的内核bzImage镜像，位于arch/x86/boot/bzImage
更多可选的：
config - Update current config utilising a line-oriented program'
@echo ' nconfig - Update current config utilising a ncurses menu based program'
@echo ' menuconfig - Update current config utilising a menu based program'
@echo ' xconfig - Update current config utilising a Qt based front-end'
@echo ' gconfig - Update current config utilising a GTK+ based front-end'
@echo ' oldconfig - Update current config utilising a provided .config as base'
@echo ' localmodconfig - Update current config disabling modules not loaded'
@echo ' localyesconfig - Update current config converting local mods to core'
@echo ' defconfig - New config with default from ARCH supplied defconfig'
@echo ' savedefconfig - Save current config as ./defconfig (minimal config)'
@echo ' allnoconfig - New config where all options are answered with no'
@echo ' allyesconfig - New config where all options are accepted with yes'
@echo ' allmodconfig - New config selecting modules when possible'
@echo ' alldefconfig - New config with all symbols set to default'
@echo ' randconfig - New config with random answer to all options'
@echo ' listnewconfig - List new options'
@echo ' olddefconfig - Same as oldconfig but sets new symbols to their'
@echo ' default value without prompting'
@echo ' kvmconfig - Enable additional options for kvm guest kernel support'
@echo ' xenconfig - Enable additional options for xen dom0 and guest kernel support'
@echo ' tinyconfig - Configure the tiniest possible kernel'
@echo ' testconfig - Run Kconfig unit tests (requires python3 and pytest)'
3. 编译较新版本的qemu
下载qemu-4.1.1.tar.gz版本
https://download.qemu.org/
解压之。
具体需要的依赖包视实际情况而定，参考：
yum install pixman-devel -y
最终安装后的版本：
pixman-devel-0.34.0-1.el7.x86_64
pixman-0.34.0-1.el7.x86_64
可能还会安装诸如：bison和flex这样的工具。
为了不和以后系统安装的qemu发生冲突，这里将qemu安装到/data目录下：
./configure --enable-rbd --enable-debug --enable-trace-backends=simple --enable-debug-stack-usage --enable-kvm --enable-vnc --prefix=/data --target-list=x86_64-softmmu
注意：
如果不加上--target-list=x86_64-softmmu选项，那么会编译所有平台的模拟器，即就是不限于x86_64
--enable-rbd可能需要安装librdb库。--enable-trace-backends=simple该选项可能会影响性能，故生产环境中应关闭该选项，调试环境中推荐开启。
接着，开始编译和安装：
make -j4
make install
4. 编译较新版本的gdb
download gdb source code:
wget https://mirrors.ustc.edu.cn/gnu/gdb/gdb-8.2.tar.gz
wget https://github.com/libexpat/libexpat/releases/download/R_2_2_8/expat-2.2.8.tar.bz2
4.1 先编译expat
解压：expat-2.2.8.tar.bz2
然后开始执行编译：
./configure --prefix=/data/expat-2.2.8
make -j4 && make install
4.2 开始编译安装gdb
and edit gdb/remote.c
将remote_target::process_g_packet函数中的一部分内容修改成这个样子，否则gdb调试的时候可能出错：
/* Further sanity checks, with knowledge of the architecture. */
// if (buf_len > 2 * rsa->sizeof_g_packet)
// error (_("Remote 'g' packet reply is too long (expected %ld bytes, got %d "
// "bytes): %s"), rsa->sizeof_g_packet, buf_len / 2, rs->buf);
if (buf_len > 2 * rsa->sizeof_g_packet) {
rsa->sizeof_g_packet = buf_len;
for (i = 0; i < gdbarch_num_regs (gdbarch); i++)
{
if (rsa->regs[i].pnum == -1)
continue;
if (rsa->regs[i].offset >= rsa->sizeof_g_packet)
rsa->regs[i].in_g_packet = 0;
else
rsa->regs[i].in_g_packet = 1;
}
}
进入到gdb-8.2的目录下，编译gdb：
./configure --prefix=/opt --with-expat --includedir=/data/expat-2.2.8/include/ --libdir=/data/expat-2.2.8/lib
还需要安装一个包，否则在make install时会出现错误。
yum install texinfo -y
然后执行make:
make
make install
这里假设我的expat放置在/data/路径下。
5. 制作rootfs
在第1步，已经将内核编译好了，还需要一个rootfs，用于启动完整的Linux系统。
参考以下脚本制作一个rootfs:
yum install debootstrap.noarch -y
rm -rf /data/ubuntu_1604
rm -rf /data/rootfs.img
/data/bin/qemu-img create /data/rootfs.img 5G
mkfs.ext4 /data/rootfs.img
mkdir /data/ubuntu_1604
mount -o loop /data/rootfs.img /data/ubuntu_1604
debootstrap --arch=amd64 xenial /data/ubuntu_1604 https://mirrors.aliyun.com/ubuntu/
#auto login
mkdir -p /data/ubuntu_1604/etc/systemd/system/serial-getty@ttyS0.service.d
cat << EOF > /data/ubuntu_1604/etc/systemd/system/serial-getty@ttyS0.service.d/autologin.conf
[Service]
ExecStart=
ExecStart=-/sbin/agetty --noissue --autologin root %I $TERM
Type=idle
EOF
umount /data/ubuntu_1604
经过以上步骤，制作好了一个rootfs，再结合第1步生成的内核bzImage，就可以在qemu中启动了。
以上制作的rootfs是Ubuntu的，如果要制作基于CentOS的rootfs，参考链接：http://linuxcoming.com/blog/2019/07/04/build_ram_os_of_centos.html
6. 调试实例
参考以下脚本，启动一个调试实例：
/data/qemu-4.1.0/x86_64-softmmu/qemu-system-x86_64 -kernel linux-4.8/arch/x86/boot/bzImage \
-drive file=./rootfs.img,if=virtio \
-netdev tap,id=tap0,ifname=virbr0-nic,vhost=on,script=no -m 2048 \
-device virtio-net-pci,netdev=tap0 \
-append "root=/dev/vda rw console=ttyS0 nokaslr" \
-nographic \
--enable-kvm -S -gdb tcp::8889
可能会用到的qemu参数：
-device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x6,drive=drive-virtio-disk0,id=virtio-disk0 -drive file=fake.img,format=qcow2,if=none,id=drive-virtio-disk0,cache=writeback
### 或者直接使用以下命令行可以调试qemu+Linux kernel
/opt/bin/gdb -nh --args /data/bin/qemu-system-x86_64 -m 1024 -nographic \
-kernel /root/code/linux-4.18.2/arch/x86/boot/bzImage \
-device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x6,drive=drive-virtio-disk0,id=virtio-disk0 \
-drive format=raw,if=none,id=drive-virtio-disk0,cache=writeback,file=/data/rootfs.img \
-netdev tap,id=tap0,ifname=virbr0-nic,vhost=no,script=no \
-device virtio-net-pci,netdev=tap0 \
-append "root=/dev/vda rw console=ttyS0 nokaslr" -S --enable-kvm -gdb tcp::8889
注意以上的磁盘那里不要再指定if=virtio，因此我们已经通过id指定了。重复指定会报错。
另外，添加这样的参数可以用于测试legacy和modern参数：-device disable-modern=on,disable-legacy=off。
gdb加上-nh参数是不让其使用~/.gdbinit中设置的命令。
参考：https://heiko-sieger.info/tuning-vm-disk-performance/
上面将qemu运行起来后，qemu会在初始阶段停住等待gdb的调试命令。
下面，将使用gdb调试内核了。
# Attach gdb
gdb ./linux-4.18.2/vmlinux
(gdb) target remote :8889
或者将上述初始化命令写入到~/.gdbinit文件中，如下：
add-auto-load-safe-path /root/code/linux-4.18.2/vmlinux-gdb.py
file /root/code/linux-4.18.2/vmlinux
directory /root/code/linux-4.18.2/
target remote:8889
注意：在设置breakpoint的时候，对于QEMU模拟的VM，可以使用break，但对于KVM模拟的VM，需要使用hbreak。
7. QEMU trace的使用
假设在第3步启用了--enable-trace-backends=simple这个选项来编译qemu，那么可以尝试使用下qemu的trace功能帮助调试。
以下两个链接有助于使用qemu trace：
https://blog.csdn.net/scaleqiao/article/details/50787340
https://blog.csdn.net/weixin_34144450/article/details/91744086
参考链接:
https://www.anmolsarma.in/post/single-step-kernel/
https://www.binss.me/blog/how-to-debug-linux-kernel/
在docker 容器中运行：
创建容器：
docker run --rm -it --name build_upstream_qemu -d --cap-add NET_ADMIN --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --device=/dev/kvm:/dev/kvm --device=/dev/net/tun:/dev/net/tun -v /root/kernel:/root/kernel docker.io/centos:centos7 bash
