debug学习

参考

• https://blog.csdn.net/rikeyone/category_10354155.html
• Linux内核故障分类和排查
• Linux内核中oops 错误解析以及问题定位
• 内核问题分析文章
• Linux中的错误码
• Remote Serial Console HOWTO 配置串口
• Internet FAQ Archives
• 服务器案例查询助手
• Welcome to learning debugging
  • All GDB Content

内核

工具

kdump&crash

• openEuler kernel 技术分享 - 第1期 - kdump 基本原理、使用及案例介绍
• openEuler kernel 技术分享 - 第3期 - Crash工具基本使用及实战分享
• crash、kdump工具学习
• crash工具和x86-64汇编基础
• 使用crash工具分析高通ramdump
• early kdump
• Documentation for Kdump - The kexec-based Crash Dumping Solution
  • VMCOREINFO
• Linux Kdump 机制详解

drgn

• github: https://github.com/osandov/drgn
• 使用手册
• A kernel debugger in Python: drgn
• Powerful and Programmable Kernel Debugging with drgn
• BPF drgn tools
• drgn: How the Linux Kernel Team at Meta Debugs the Kernel at Scale
• drgn - Linux 调试的另一只翅膀 [上]
• drgn - Linux 调试的另一只翅膀 [下]

decode_stacktrace.sh

• 使用decode_stacktrace.sh解析内核调用栈

faddr2line

• 内核脚本faddr2line

pengdl@ubuntu:~/x86/linux-5.19$ ./scripts/faddr2line ./vmlinux proc_reg_open+255 blk_mq_dispatch_rq_list+599
proc_reg_open+255/0x1f0:
proc_reg_open at fs/proc/inode.c:524

blk_mq_dispatch_rq_list+599/0x850:
blk_mq_dispatch_rq_list at block/blk-mq.c:1897


pengdl@ubuntu:~/x86/linux-5.19$ ./scripts/faddr2line ./fs/proc/inode.o  proc_reg_open+255
proc_reg_open+255/0x1f0:
proc_reg_open at /home/pengdl/work/Qemu/x86/linux-5.19/fs/proc/inode.c:524

stack canary

• Linux 内核安全增强—— stack canary
• __stack_chk_fail 栈溢出问题定位

反汇编

• 用objdump只反汇编想要的函数

硬件断点

• bpftrace
  • watchpoint/asyncwatchpoint
• 硬件断点API
  • Linux 监测内存访问的方法汇总

gdb

• gdb Debugging Full Example (Tutorial)
• Bug hunting
• 使用gdb查看结构体成员偏移
• Debugging with GDB
• Debugging kernel and modules via gdb
• gdb 一行命令

  gdb -ex 'info functions' -ex 'info files' -e 'quit' ./hello.ko
  

debugfs

• 命令

modprobe ice dyndbg=+p
echo "module ice +p" > /sys/kernel/debug/dynamic_debug/control
sudo insmod ice.ko dyndbg="+p" fwlog_events=0x0FFFFFFF fwlog_level=2

dmesg

• 命令

# 等待输出新的内容日志： -w
dmesg -w file.log  # 将内核日志重定向到文件中，并且等待输出新的日志

内存类

kasan

• 内核地址消毒剂(KASAN)
• KASAN实现原理
• 内存错误检测 (KASAN) 详解
• Linux内核中使用内存检测
• 案例分析（二）内存越界检测工具kasan
• DEBUG memory问题的一些工具以及注意事项
• ASan
• Memory Tagging for the kernel — Tag-Based KASAN
• 台湾Linux骇客分享：使用KASAN DEBUG内存问题
• Hardware Tag-Based KASAN

OOB

UAF

kfence

OOB

UAF

KCSAN

• The Kernel Concurrency Sanitizer (KCSAN)

KMSAN

• The Kernel Memory Sanitizer (KMSAN)

UBSAN

• The Undefined Behavior Sanitizer - UBSAN

内存泄漏

• 内核检查内存泄漏的工具 --- kmemleak
• Kernel Memory Leak Detector
• SystemTap 定位 Memory Leak

slub_debug

• SLUB DEBUG原理

死锁

softlockup

• Linux系列之soft lockup机制 浅析
• soft lockup问题的定位方法
• Softlockup detector and hardlockup detector

hung task

hard lockup

应用

ASAN

• https://www.cnblogs.com/pengdonglin137/p/17203518.html

Heaptrack

• https://milianw.de/blog/heaptrack-a-heap-memory-profiler-for-linux.html
• ubuntu20.04安装heaptrack

服务器故障排查

• 服务器案例查询助手 > 典型场景案例指导