内核调试工具 ftrace - 1
ftrace 是一种用于跟踪内核函数调用和事件的工具
部署 ftrace
目前 Ftrace 的 API 接口位于 debugfs 文件系统,典型位置 /sys/kernel/debug,这个路径有点复杂,大家可以根据需要建立自己需要的快捷方式(软连接)。
当启用 Ftrace 功能后,会在 debugfs 文件系统下创建 tracing 文件夹,如下所示:
[~]# cd /sys/kernel/debug/tracing
[tracing]#
本文主要介绍 Ftrace 做为内核调试工具的用法,对于使用 Ftrace 找延迟,分析系统不是本文核心。ftrace 做为内核调试工具时,需要使能如下内核参数
CONFIG_FUNCTION_TRACER
CONFIG_FUNCTION_GRAPH_TRACER
CONFIG_STACK_TRACER
CONFIG_DYNAMIC_FTRACE
使用 ftrace 跟踪函数调用 - 无须做任何代码改动
ftrace 最强大的跟踪器是 function tracer。它使用 gcc 的 -pg 选项让内核中的每个函数调用一个特殊函数“mcount()”。该函数必须用汇编实现,因为该调用不遵循正常的 C 函数调用规则。
配置 CONFIG_DYNAMIC_FTRACE 后,ftrace 的所有跟踪点函数会在系统启动时转换为 NOP(默认情况下,ftrace 不做内核函数跟踪),以保持系统以 100% 的性能运行。在编译期间,会记录 mcount() 调用点。该列表在启动时用于将这些站点转换为 NOP。由于 NOP 对于内核函数跟踪几乎毫无用处,因此会保存该列表,以便在启用函数(或函数图)跟踪器时将调用点转换回跟踪调用。
由于此性能增强,强烈建议启用 CONFIG_DYNAMIC_FTRACE。此外,CONFIG_DYNAMIC_FTRACE 还能够过滤应跟踪哪个函数。请注意,尽管 NOP 在基准测试中没有显示出任何影响,但已知 -pg 选项附带的帧指针的添加会导致轻微的开销。
查看本机支持那种跟踪器,只需要查看 tracing 文件夹下的 available_tracers 文件即可
[tracing]# cat available_tracers
function_graph function sched_switch nopk
只需要将对应的跟踪器名字输入给 current_tracer 文件,就可以开启跟踪器的跟踪功能。
[tracing]# echo function > current_tracer
[tracing]# cat current_tracer
function
[tracing]# cat trace | head -10
# tracer: function
#
# TASK-PID CPU# TIMESTAMP FUNCTION
# | | | | |
bash-16939 [000] 6075.461561: mutex_unlock <-tracing_set_tracer
<idle>-0 [001] 6075.461561: _spin_unlock_irqrestore <-hrtimer_get_next_event
<idle>-0 [001] 6075.461562: rcu_needs_cpu <-tick_nohz_stop_sched_tick
bash-16939 [000] 6075.461563: inotify_inode_queue_event <-vfs_write
<idle>-0 [001] 6075.461563: mwait_idle <-cpu_idle
bash-16939 [000] 6075.461563: __fsnotify_parent <-vfs_writer
如上所示,标题解释了输出内容。
从左到右依次是:进程名-进程PID , [执行 trace 的 CPU ID] ,从开机到现在的时间戳, 函数名 <- 父函数
虽然上面的记录已经足够多,但是对人来说有点难以理解,尤其是不知道那个是函数调用的开始,那个是函数调用的结束。使用 function graph 跟踪器后,可以方便的查看函数的调用开始和调用结束,跟踪器能够让分析者快速了解所调用函数的深度。function graph 跟踪器可以使人眼更容易跟踪内核中的执行流程:
[tracing]# echo function_graph > current_tracer
[tracing]# cat trace | head -20
# tracer: function_graph
#
# CPU DURATION FUNCTION CALLS
# | | | | | | |
1) 1.015 us | _spin_lock_irqsave();
1) 0.476 us | internal_add_timer();
1) 0.423 us | wake_up_idle_cpu();
1) 0.461 us | _spin_unlock_irqrestore();
1) 4.770 us | }
1) 5.725 us | }
1) 0.450 us | mutex_unlock();
1) + 24.243 us | }
1) 0.483 us | _spin_lock_irq();
1) 0.517 us | _spin_unlock_irq();
1) | prepare_to_wait() {
1) 0.468 us | _spin_lock_irqsave();
1) 0.502 us | _spin_unlock_irqrestore();
1) 2.411 us | }
1) 0.449 us | kthread_should_stop();
1) | schedule() {
如上所示,通过类 C 的语法,function graph 使用“{”表示函数调用开始,用“}”表示函数调用结束。 如果函数内部的子函数不会执行调用子函数,则会在行尾添加 “;”,此类函数我们称之为叶子函数。DURATION 列会显示相应函数执行时所花费的时间。具体来说 function graph 会记录函数从开始调用到结束调用一共花费的时间,通用这些时间会记录在叶子函数 和 “}” 所对应的 DURATION 列中。请注意,这 DURATION 时间还包括嵌套函数内所有函数的开销以及函数图跟踪器本身的开销。函数图跟踪器劫持函数的返回地址,以便为函数退出插入跟踪回调。这会破坏 CPU 的分支预测,并导致比函数跟踪器更多的开销。最接近的真实时间仅发生在叶函数中。
除此之外,function graph 还会添加注释,当函数的执行时间超出 10 微妙会在 DURATION 列添加 + ,如果函数的执行时间超出 100 微妙会在 DURATION 列添加 ! 。
使用 trace_printk()
通常情况下,大家会使用 printk 调试内核。但是,如果您正在调试诸如定时器中断(timer interrupt)、调度程序(scheduler)或网络(network)等高流量区域,printk() 可能会导致系统陷入瘫痪,甚至可能产生实时锁定。当然,在很多情况下,添加 printk 后可以快速解决问题。无论如何,我们必须正视 printk 带来的开销。
Ftrace 引入了一种名为 trace_printk() 的内核打印(print)语句。它可以像 printk() 一样使用,也可以在任何上下文中使用(中断代码、NMI 代码和调度程序代码)。trace_printk() 的优点在于它不会输出任何信息到控制台。相反,它会将 debug 信息写入到 Ftrace 的 ring buffer,内核调试者可以通过跟踪文件读取写入 ring buffer 的调试信息。
使用 trace_printk() 将 debug 信息写入到 Ftrace 的 ring buffer 仅需大约十分之一微秒左右。但使用 printk(),尤其是写入串行控制台时,每次写入可能需要几毫秒。trace_printk() 的性能优势让您可以以极小的影响记录内核中最敏感的区域。
For example you can add something like this to the kernel or module:
trace_printk("read foo %d out of bar %p\n", bar->foo, bar);
Then by looking at the trace file, you can see your output.
[tracing]# cat trace
# tracer: nop
#
# TASK-PID CPU# TIMESTAMP FUNCTION
# | | | | |
<...>-10690 [003] 17279.332920: : read foo 10 out of bar ffff880013a5bef8y
以上示例,是通过像内核添加驱动模块实现的,模块内包含 foo 和 bar 函数。
trace_printk() 函数的调试输会出现在所有 ftrace 踪器中,甚至是 function and function graph 跟踪器中。
[tracing]# echo function_graph > current_tracer
[tracing]# insmod ~/modules/foo.ko
[tracing]# cat trace
# tracer: function_graph
#
# CPU DURATION FUNCTION CALLS
# | | | | | | |
3) + 16.283 us | }
3) + 17.364 us | }
3) | do_one_initcall() {
3) | /* read foo 10 out of bar ffff88001191bef8 */
3) 4.221 us | }
3) | __wake_up() {
3) 0.633 us | _spin_lock_irqsave();
3) 0.538 us | __wake_up_common();
3) 0.563 us | _spin_unlock_irqrestore();
trace_printk() 输出看起来像 function_graph 跟踪器中的注释。
开启或者关闭 trace
很明显,有时你只想跟踪特定代码的调用栈,或者你只想跟踪某个程序运行期间发生的函数调用。
debugfs 的文件 tracing_on 可用于禁用 ring buffer 记录(trace)的跟踪数据。
[tracing]# echo 0 > tracing_on
以上操作执行完毕后,ring buffer 不会继续记录跟踪数据。但是 ftrace 内核模块会继续跟踪函数调用, 只是不记录到 ring buffer,因此也会有一定的系统负担。
重新使能 ring buffer 记录跟踪的信息:
[tracing]# echo 1 > tracing_on
注意,在数字和 “>” 之间必须有一个空格,否则会
[tracing]# echo 0> tracing_on /* this will not work! 错误的示例 */
推荐的使用方式
[tracing]# echo 0 > tracing_on [tracing]# echo function_graph > current_tracer [tracing]# echo 1 > tracing_on; run_test; echo 0 > tracing_on
第一行关闭 trace 功能,内核 ftrace 模块不会将跟踪到的数据写入 ring buffer。继续配置跟踪器为 function_graph 跟踪器;
这样就能保证,写入到 ring buffer 中的信息,都是 run_test 相关的信息。
本文来源:
https://lwn.net/Articles/365835/

浙公网安备 33010602011771号