内核调试工具 ftrace - 2
trace Markers
查看内核内部发生的事情可以让用户更好地了解他们的操作系统是如何工作的。但有时需要了解用户空间发生的事情和内核内部发生的事情是如何进行协调的。ftrace 跟踪结果中显示的时间戳都与跟踪中发生的事情有关,它们与实际时间不太吻合。
为了帮助用户了解用户空间和内核空间中的操作关联关系,Ftrace 创建了 trace_marker 文件。它提供了从用户空间写数据到 Ftrace ring buffer 的方法。然后,这些数据(标记)将出现在 ftrace 跟踪数据中,以便给出跟踪中发生的特定事件与用户空间代码的关联关系。
[tracing]# echo hello world > trace_marker
[tracing]# cat trace
# tracer: nop
#
# TASK-PID CPU# TIMESTAMP FUNCTION
# | | | | |
<...>-3718 [001] 5546.183420: 0: hello world
<...> 表示未记录写下标记的任务名称。未来版本可能会修复此问题。
Starting, Stopping and Recording in a Program
首先,在程序运行入口,提前准备好需要用到的 ftrace 文件
int trace_fd = -1;
int marker_fd = -1;
int main(int argc, char **argv)
{
char *debugfs;
char path[256];
[...]
debugfs = find_debugfs();
if (debugfs) {
strcpy(path, debugfs); /* BEWARE buffer overflow */
strcat(path,"/tracing/tracing_on");
trace_fd = open(path, O_WRONLY);
if (trace_fd >= 0)
write(trace_fd, "1", 1);
strcpy(path, debugfs);
strcat(path,"/tracing/trace_marker");
marker_fd = open(path, O_WRONLY);
其次,在应用程序的某些关键位置,提前放置标记(Marker)用于记录应用程序的当前位置(对应上面的用户空间代码位置)
if (marker_fd >= 0)
write(marker_fd, "In critical area\n", 17);
if (critical_function() < 0) {
/* we failed! */
if (trace_fd >= 0)
write(trace_fd, "0", 1);
}
在查看示例时,首先您会看到一个名为“find_debugfs()”的函数。安装调试文件系统的正确位置是/sys/kernel/debug,但一个健壮的工具不应该依赖于安装在那里的调试文件系统。find_debugfs()的示例位于此处。文件描述符被初始化为-1,以允许此代码无论是在启用,还是不启用 ftrace 模块的内核下都能正常运行。
当检查出问题后,将 ASCII 字符 “0” 写入 trace_fd 文件描述符,以停止 ftrace 的跟踪功能。正如第 1 部分所述,这只会禁用向 Ftrace 环形缓冲区写记录,但跟踪器仍会产生开销。
使用上述初始化代码时,将在应用程序开始时启用跟踪,因为跟踪程序以覆盖模式运行。也就是说,当 ftrace 缓冲区填满时,它将删除旧数据并用新数据替换。由于问题发生时只有最新的跟踪信息是相关的,因此在应用程序的正常运行期间不需要停止和启动跟踪。只有定位出程序的具体问题时才需要禁用跟踪器(ftrace),这样跟踪才会有导致错误的历史记录。如果应用程序中需要间隔跟踪,它可以将ASCII“1”写入trace_fd以启用跟踪。
下面是一个名为simple_trace.c的简单程序的示例,该程序使用上述初始化过程:
req.tv_sec = 0;
req.tv_nsec = 1000;
write(marker_fd, "before nano\n", 12);
nanosleep(&req, NULL);
write(marker_fd, "after nano\n", 11);
write(trace_fd, "0", 1);
(由于这是一个仅用于示例目的的简单程序,因此没有添加错误检查。)
以下是跟踪此简单程序的过程:
[tracing]# echo 0 > tracing_on
[tracing]# echo function_graph > current_tracer
[tracing]# ~/simple_trace
[tracing]# cat trace
第一行禁用跟踪,因为程序将在启动时会启用 ftrace。接下来,选择function graph (函数图)跟踪器。程序执行后,将产生以下跟踪。请注意,输出可能有点冗长,因此大部分内容已被删除并替换为[…]:
[...]
0) | __kmalloc() {
0) 0.528 us | get_slab();
0) 2.271 us | }
0) | /* before nano */
0) | kfree() {
0) 0.475 us | __phys_addr();
0) 2.062 us | }
0) 0.608 us | inotify_inode_queue_event();
0) 0.485 us | __fsnotify_parent();
[...]
1) 0.523 us | _spin_unlock();
0) 0.495 us | current_kernel_time();
1) | it_real_fn() {
0) 1.602 us | }
1) 0.728 us | __rcu_read_lock();
0) | sys_nanosleep() {
0) | hrtimer_nanosleep() {
0) 0.526 us | hrtimer_init();
1) 0.418 us | __rcu_read_lock();
0) | do_nanosleep() {
1) 1.114 us | _spin_lock_irqsave();
[...]
0) | __kmalloc() {
1) 2.760 us | }
0) 0.556 us | get_slab();
1) | mwait_idle() {
0) 1.851 us | }
0) | /* after nano */
0) | kfree() {
0) 0.486 us | __phys_addr();
注意,用户层 trace_marker 的写入在 function graph (函数图)跟踪器中显示为注释。
Disabling the Tracer Within the Kernel
自行阅读原文
ftrace_dump_on_oops
内核有时会崩溃,检查内核崩溃时的内存和状态更像是门玄学,而不是程序调试科学。使用 kdump/kexec 等 crash 工具是检查崩溃时系统状态的有效方法,但缺陷是,它不会让您看到导致崩溃的事件发生之前发生了什么。
内核启用 Ftrace 后并在内核启动参数中启用 ftrace_dump_on_oops,或者执行 echo 1 > /proc/sys/kernel/ftrace_dump_on_oops ,将使 Ftrace 能够在出现 oops 或 panic 时以 ASCII 格式将整个 ring buffer 数据转储到控制台。将控制台数据输出到串行日志 将使调试崩溃变得更加容易。立刻就可以根据串行日志追溯导致崩溃的事件。
由于每个 CPU 默认的 Ftrace ring buffer 超过 1 兆字节,因此将数据转储到控制台可能需要很长时间。要缩小 ring buffer 的大小,请将您希望的 ring buffer (环形缓冲区)千字节数写入 buffer_size_kb。请注意,该值是每个 CPU 的,而不是环形缓冲区的总大小。
[tracing]# echo 50 > buffer_size_kb
上述操作将把每个 CPU 的 Ftrace ring buffer (环形缓冲区)缩小到50 千字节。
您还可以使用 sysrq-z 触发将 Ftrace 缓冲区数据转储到控制台。
内核可以通过直接调用 ftrace_dump(),选择从那个位置开始记录 crash 日志。这种操作可能会永久禁用 Ftrace,直到重新启动系统才会重新恢复 Ftrace 功能。这是因为 ftrace_dump() 会读取缓冲区。缓冲区可以在所有上下文(中断、NMI、调度)中写入,但读取缓冲区需要锁定。为了能够执行 ftrace_dump(),锁定被禁用,并且缓冲区在输出后可能会被损坏。
/*
* The following code will lock up the box, so we dump out the
* trace before we hit that location.
*/
ftrace_dump();
/* code that locks up */
Stack Tracing
最后要讨论的主题是 ftrace 检查内核堆栈的大小以及检测每个函数使用的堆栈空间大小的能力。启用堆栈跟踪器 (CONFIG_STACK_TRACER) 将显示堆栈的最大使用位置。
stack (堆栈) 跟踪器是在 function (函数)跟踪器的基础上构建的。它不使用 Ftrace 环形缓冲区,但它通过 function 跟踪器挂接到每个函数调用。由于它是基于 function 跟踪器构建的,因此在未启用时不会增加系统开销。要启用 stack (堆栈) 跟踪器,请 echo 1 > /proc/sys/kernel/stack_tracer_enabled。要查看启动期间的最大堆栈大小,请将“stacktrace”添加到内核启动参数。
stack (堆栈)跟踪器在每次调用函数时检查堆栈的大小。如果它大于上次记录的最大值,它会记录本次的堆栈跟踪并使用新大小更新最大值。要查看当前最大值,请查看 stack_max_size 文件。
[tracing]# echo 1 > /proc/sys/kernel/stack_tracer_enabled
[tracing]# cat stack_max_size
2928
[tracing]# cat stack_trace
Depth Size Location (34 entries)
----- ---- --------
0) 2952 16 mempool_alloc_slab+0x15/0x17
1) 2936 144 mempool_alloc+0x52/0x104
2) 2792 16 scsi_sg_alloc+0x4a/0x4c [scsi_mod]
3) 2776 112 __sg_alloc_table+0x62/0x103
[...]
13) 2072 48 __elv_add_request+0x98/0x9f
14) 2024 112 __make_request+0x43e/0x4bb
15) 1912 224 generic_make_request+0x424/0x471
16) 1688 80 submit_bio+0x108/0x115
17) 1608 48 submit_bh+0xfc/0x11e
18) 1560 112 __block_write_full_page+0x1ee/0x2e8
19) 1448 80 block_write_full_page_endio+0xff/0x10e
20) 1368 16 block_write_full_page+0x15/0x17
21) 1352 16 blkdev_writepage+0x18/0x1a
22) 1336 32 __writepage+0x1a/0x40
23) 1304 304 write_cache_pages+0x241/0x3c1
24) 1000 16 generic_writepages+0x27/0x29
[...]
30) 424 64 bdi_writeback_task+0x3f/0xb0
31) 360 48 bdi_start_fn+0x76/0xd7
32) 312 128 kthread+0x7f/0x87
33) 184 184 child_rip+0xa/0x20
如上所示,输出结果不仅提供了环境中的最大堆栈大小,还显示本次函数调用时,其内每个子函数使用的堆栈大小。如,write_cache_pages 的堆栈最大,使用了 304 字节,其次是 generic_make_request,使用了 224 字节堆栈。
要重置最大值,请将“0”回显到 stack_max_size 文件中。
[tracing]# echo 0 > stack_max_size
保持此程序运行一段时间将显示内核使用过多堆栈的位置。但请记住,堆栈跟踪器只有在未启用时才没有开销。运行时,您可能会注意到性能略有下降。
请注意,当内核使用单独的堆栈时,堆栈跟踪器无法跟踪最大堆栈大小。由于中断有自己的堆栈,因此它不会跟踪那里的堆栈使用情况。原因是,当堆栈不是当前任务的堆栈时,目前没有简单的方法可以快速查看堆栈顶部。使用拆分堆栈时,进程堆栈可能有两页,但中断堆栈可能只有一页。这可能会在将来得到修复,但在使用堆栈跟踪器时请记住这一点。
原文:https://lwn.net/Articles/366796/

浙公网安备 33010602011771号