ftrace 函数追踪器的用法
从 Ftrace 衍生出来的最强大的跟踪器可能是 function (函数)跟踪器。它几乎可以跟踪内核中的每个函数。不仅可以用于调试或分析,还可以用于学习和观察 Linux 内核的运行流程。
在前面两篇文章,使用 Ftrace 调试 Linux 内核的第一部分和第二部分,我们解释了 Ftrace 和 函数跟踪器的一些基本特性;本文是在假设读者已经阅读过它们的情况下写的。与前面的文章一样,本文中的示例假设用户已经进入到 ftrace 模块的调试目录。
为了支持本文介绍的 ftrace 特性,需要启用的内核配置选项是:
- CONFIG_FUNCTION_TRACER
- CONFIG_DYNAMIC_FTRACE
- CONFIG_FUNCTION_GRAPH_TRACER
如前几篇文章所示,这是一个如何启用函数跟踪器的快速示例。
[tracing]# echo function > current_tracer
[tracing]# cat trace
<idle>-0 [000] 1726568.996435: hrtimer_get_next_event <-get_next_timer_interrupt
<idle>-0 [000] 1726568.996436: _spin_lock_irqsave <-hrtimer_get_next_event
<idle>-0 [000] 1726568.996436: _spin_unlock_irqrestore <-hrtimer_get_next_event
<idle>-0 [000] 1726568.996437: rcu_needs_cpu <-tick_nohz_stop_sched_tick
<idle>-0 [000] 1726568.996438: enter_idle <-cpu_idle
...
以上从左到右依次显示了进程名称(<idle>)、PID(0)、执行 trace 行为的CPU([000])、以秒为单位的时间戳,小数位数精确到微秒(1726568.996435)、被跟踪的函数(hrtimer_get_ext_event)和调用该函数的父函数(get_ext_timer_interrupt)。
跟踪指定的函数
运行 (function tracer) 函数跟踪器可能会让人不知所措。 默认情况下 Ftrace 在执行跟踪时会产生大量的数据量,让人很难一眼抓住重点。为此 Ftrace 提供了方法用于过滤出指定函数的跟踪。ftrace 通过两个文件,用于过滤出具体要跟踪哪些函数:
set_ftrace_filter set_ftrace_notrace
Ftrace 的过滤特性取决于 CONFIG_DYNAMIC_FTRACE 选项。如前几篇文章所述,启用此配置后,所有 mcount 用者位置都会被存储,并在启动时转换为NOP。这些位置被保存并用于在启动函数跟踪器时启用跟踪。但这也有一个很好的副作用:并非所有函数都会被 Ftrace 跟踪。上述文件将决定哪些函数被 Ftrace 跟踪,哪些函数不被 Ftrace 跟踪。
将需要跟踪的目标内核函数写入 set_ftrace_filter 文件后,Ftrace 只会跟踪这些函数。就实际效果而言,这有助于提高系统的整体性能。如果采用默认的跟踪内核所有函数会产生很大的性能开销,但在配置 set_ftrace_filter 后,只有写入该文件中的函数才会启用 Ftrace 的跟踪功能。根据用户跟踪的函数不同,通常如果仅仅跟踪几百个内核函数,几乎不会有大的性能开销,具体还要看内核函数的执行次数,建议在跟踪前使用 Ftrace 剖析器有了初步了解后,在考虑跟踪多少个函数,甚至是否有跟踪的必要。
配置 set_ftrace_notrace 文件的效果与配置 set_ftrace_filter 效果相反,写入 set_ftrace_notrace 文件中的函数不会被 ftrace 跟踪。在实际分析时,有些内核函数经常出现,跟踪这些函数不仅会减慢系统的运行速度,还会填满跟踪缓冲区,使我们分析自己关心的函数时变得更加困难。rcuread_lock()和spin_lock(()等函数属于这一类。
通常使用 bash 重定向 向这些文件中添加函数用于实现跟踪过滤效果。注意:使用符号 “>” 将删除文件中的现有设置的内核函数,并将要跟踪结果添加到文件中。使用 “>>” 可以将新设置的内核函数追加到配置文件,同时保留文件中原就有的内核函数。
[tracing]# echo sys_read > set_ftrace_filter [tracing]# cat set_ftrace_filter sys_read [tracing]# echo sys_write >> set_ftrace_filter [tracing]# cat set_ftrace_filter sys_write sys_read [tracing]# echo sys_open > set_ftrace_filter [tracing]# cat set_ftrace_filter sys_open
To remove all functions just echo a blank line into the filter file.
[tracing]# echo sys_read sys_open sys_write > set_ftrace_notrace [tracing]# cat set_ftrace_notrace sys_open sys_write sys_read [tracing]# echo > set_ftrace_notrace [tracing]# cat set_ftrace_notrace [tracing]#
上面说的配置方式同样可以通过内核命令行实现,通过 ftrace_notrace 和 ftrace_filter 选项就可以实现目的,具体参考如下示例:
ftrace_notrace=rcu_read_lock,rcu_read_unlock,spin_lock,spin_unlock ftrace_filter=kfree,kmalloc,schedule,vmalloc_fault,spurious_faultt
通过命令行的方式,我们达到了预先设置 Ftrace 需要过滤和不过滤的函数,后续我们依然可以同上面提到的方法,对这些设置进行覆盖或者追加
set_ftrace_notrace 中配置的内核函数具有优先权。也就是说,如果一个函数同时列在 set_ftrace_noterace 和 set_ftrace_filter 中,则该函数将不会被 Ftrace 跟踪。
通配符过滤
通过查看 available_filter_functions 文件可以查看 Ftrace 都支持跟踪哪些内核函数,这些函数名来源于前面提到的存储有 mcount 的函数。
[tracing]# cat available_filter_functions | head -8 _stext do_one_initcall run_init_process init_post name_to_dev_t create_dev T.627 set_personality_64bitk
可以将 available_filter_functions 的结果过滤后,直接写入上面提到的文件中
[tracing]# grep sched available_filter_functions > set_ftrace_filter [tracing]# cat set_ftrace_filter | head -8 save_stack_address_nosched mce_schedule_work smp_reschedule_interrupt native_smp_send_reschedule sys32_sched_rr_get_interval sched_avg_update proc_sched_set_task sys_sched_get_priority_max
不幸的是,向 Ftrace 过滤文件添加大量的内核函数名会很慢,您可能注意到上面的 grep 执行了几秒钟。这是因为写入配置文件中的每个函数名称都将被单独处理。上面的 grep 生成了300 多个函数名。这 300 个名称中的每一个都将与内核中的每个函数名称进行比较(使用strcmp()),这是相当多的。
[tracing]# wc -l available_filter_functions 24331 available_filter_functions
因此,上面的 set_ftrace_filter 配置,将生成超过 300 * 24331(7299300)次函数比较。
幸运的是,还可以通过通配符设置要过滤的文件;以下glob表达式有效:
- value* - 过滤所有以 value 开头的内核函数,Ftrace 会跟踪这些内核函数。
- *value* - 过滤包含 value 的所有内核函数,Ftrace 会跟踪这些内核函数。
- *value - 过滤所有以 value 结尾的内核函数,Ftrace 会跟踪这些内核函数。
内核自带的的解析器很简单,不会以你预期的方式处理表达式 “value*value”。它会忽略第二个 value,只匹配所有以 value 开头的函数,而不管它以什么结尾。传递给过滤器文件的通配符会依次和每个 Ftrace 可跟踪的内核函数进行比较,这比在过滤器文件中写一堆函数,然后针对每个函数单独做处理要快得多。
注意:bash 也可以使用星号(*),所以在使用时最好用引号括住正则表达式:
[tracing]# echo set* > set_ftrace_filter [tracing]# cat set_ftrace_filter #### all functions enabled #### [tracing]# echo 'set*' > set_ftrace_filter [tracing]# cat set_ftrace_filter | head -5 set_personality_64bit set_intr_gate_ist set_intr_gate set_intr_gate set_tsc_mode
在往过滤器文件中写目标函数时,还可以通过使用 “mod” 命令,仅选择属于特定模块的函数,做为 Ftrace 跟踪的目标:
[tracing]# echo ':mod:tg3' > set_ftrace_filter [tracing]# cat set_ftrace_filter |head -8 tg3_write32 tg3_read32 tg3_write_flush_reg32 tw32_mailbox_flush tg3_write32_tx_mbox tg3_read32_mbox_5906 tg3_write32_mbox_5906 tg3_disable_ints
如果您正在调试单个模块,并且只想在 Ftrace 的跟踪结果中查看属于该模块的函数,这将非常有用。
在前面的文章中,我们通过在命令行上使用 traceing_on 文件控制向 ftrace ring buffer(环形缓冲区) 输出跟踪结果,或者通过在内核中调用 traceing_on()和traceing_off()来达到同样的目的。但是,如果你不想重新编译内核,并且想在特定函数处停止跟踪,set_ftrace_filter 有一个方法可以做到这一点。
开启或者关闭 Ftrace 跟踪某函数的指令格式如下所示(我们将上面的方式叫做普通方式,这里的设置方式叫做命令方式):
function:command[:count]
格式说明:
在函数开始执行时会执行 command,command 可以是 traceon 或 traceoff,后面可以添加一个可选的计数,表示该命令只执行给定的次数。如果省略计数(包括前面的冒号),则每次调用该函数时都会执行该命令。
从 Ftrace 跟踪目标中删除一部分内核函数
如前所述,通过 “>” 向过滤文件输入空白内容,可以实现清空所有要求过滤的跟踪目标。但是,如果只想从中删除一部分函数呢?
[tracing]# cat set_ftrace_filter > /tmp/filter [tracing]# grep -v lock /tmp/filter > set_ftrace_filter
以上方法是有效的,正如前面提到的,使用这种方法时,如果 set_ftrace_filter 文件中已经有多个待过滤函数,整个设置需要一段时间才能生效。
以下代码执行相同的操作,但速度要快得多:
[tracing]# echo '!*lock*' >> set_ftrace_filter
如上方法的 “!” 符号会删除 set_ftrace_filter(筛选器)文件中已有的包含 lock 字段的函数。 “!” 支持与通配符一起使用,但也可以与单个函数一起使用。由于 “!”在 bash 中存在特殊含义,使用时必须用单引号括起来,否则 bash 执行的结果可能与你预想的不一样。还要注意,如果在使用 ">>" 时用了 “>”,最终会在过滤器(set_ftrace_filter)文件中不会存在待过滤的函数。
Ftrace 的过滤器有两种设置方式(上一节提到的命令和普通方式),又因为这两种方式是独立的,且相互不会干扰,所以普通方式的清除 set_ftrace_filter 不会清除用命令方式添加的过滤设置。必须以命令的方式用“!”删除设置。
[tracing]# echo 'sched*' > set_ftrace_filter [tracing]# echo 'schedule:traceoff' >> set_ftrace_filter [tracing]# cat trace | tail -5 schedule_console_callback schedule_bh schedule_iso_resource schedule_reallocations 普通设置 schedule:traceoff:unlimited 命令方式的设置 [tracing]# echo > set_ftrace_filter [tracing]# cat set_ftrace_filter #### all functions enabled #### schedule:traceoff:unlimited 这里采用命令方式设置的过滤,还没有删除 [tracing]# echo '!schedule:traceoff' >> set_ftrace_filter [tracing]# cat set_ftrace_filter #### all functions enabled #### [tracing]#
如上所示,我们使用 echo > set_ftrace_filter 清空 Ftrace 过滤器时只影响了普通方式的设置,而没有影响命令方式的设置。
跟踪指定的进程
有时候我们需要跟踪一个特定的流程或一组流程。通过文件 set_ftrace_pid 可以设置我们需要跟踪的特定进程。要跟踪当前线程,可以执行以下操作:
[tracing]# echo $$ > set_ftrace_pid
执行完上面的指令后,Ftrace 会仅跟踪执行 echo 命令的 bash shell。如果你想跟踪一个特定的进程,你可以创建一个 shell 脚本包装程序。
[tracing]# cat ~/bin/ftrace-me
#!/bin/sh
DEBUGFS=`grep debugfs /proc/mounts | awk '{ print $2; }'`
echo $$ > $DEBUGFS/tracing/set_ftrace_pid
echo function > $DEBUGFS/tracing/current_tracer
exec $*
[tracing]# ~/bin/ftrace-me ls -ltr
注意,在执行完上述操作后继续返回通用函数跟踪,则必须清除 set_ftrace_pid 文件。
[tracing]# echo -1 > set_ftrace_pid
查看某个内核函数的调用详细
(这段我也没看明白,既然 Ftrace 的本质就是跟踪,为啥还要这一段;看很多网上的示例,其实都已经打印了调用详细)
有时我们需要了解某个内核函数的内部的调用详细。 Ftrace 的函数追踪器提供了一个配置选项用于向 ring buffer 输出每个内核函数的调用详细。 需要注意的是开启这个特性会导致系统产生很重的负担,甚至是产生锁冲突。
为了使用这个特性,在使用 options/func_stack_trace 选项前,必须优先配置函数追踪器(function tracer)。
[tracing]# echo kfree > set_ftrace_filter
[tracing]# cat set_ftrace_filter
kfree
[tracing]# echo function > current_tracer
[tracing]# echo 1 > options/func_stack_trace
[tracing]# cat trace | tail -8
=> sys32_execve
=> ia32_ptregs_common
cat-6829 [000] 1867248.965100: kfree <-free_bprm
cat-6829 [000] 1867248.965100: <stack trace>
=> free_bprm
=> compat_do_execve
=> sys32_execve
=> ia32_ptregs_common
[tracing]# echo 0 > options/func_stack_trace
[tracing]# echo > set_ftrace_filter
这里需要注意用法,以上我在开启 options/func_stack_trace 选项前,先确认了 set_ftrace_filter 中的内容。在 Ftrace 跟踪结束的时候,先禁用了 options/func_stack_trace 选项,然后删除了 Ftrace 的过滤(set_ftrace_filter)设置。这需要注意 options/func_stack_trace 选项不会自动丢失,因此如果你配置了新的 current_tracer,也会继续使用此时的 options/func_stack_trace 选项。
Function_graph 跟踪器
function 跟踪器的功能很强大,但是不利于人脑识别。function_graph 在 function 的基础上扩大了它的功能,使得人脑能快速识别和分析。就目前而言,暂时不支持用指令(traceon/traceoff)方式配置的跟踪和 set_ftrace_pid 方式配置的跟踪(据说未来会支持)。
在前面的章节,我们提到了 fuction_graph 跟踪器,但是没有提到 set_graph_function 文件。通过上一节提到的 func_stack_trace 文件可以查看内核函数在执行期间执行了什么。但是通过 set_graph_function 可以清楚看到一个函数的调用内容(这块不好翻译。。。我理解为 func_stack_trace 可以看到函数 A 底下调用了函数 B 和函数 C 等函数名字,但是更具体的就没有了)。
[tracing]# echo kfree > set_graph_function
[tracing]# echo function_graph > current_tracer
[tracing]# cat trace
# tracer: function_graph
#
# CPU DURATION FUNCTION CALLS
# | | | | | | |
0) | kfree() {
0) | virt_to_cache() {
0) | virt_to_head_page() {
0) 0.955 us | __phys_addr();
0) 2.643 us | }
0) 4.299 us | }
0) 0.855 us | __cache_free();
0) ==========> |
0) | smp_apic_timer_interrupt() {
0) | apic_write() {
0) 0.849 us | native_apic_mem_write();
0) 2.853 us | }
[tracing]# echo > set_graph_functiony
以上仅展示 kfree 函数的调用详细。其中 “ ==========> ” 表示在这时发生了中断。 Ftrace 跟踪时会 kfree 阻塞期间执行的所有函数,甚至是 kfree 执行期间因中断触发执行的函数。
function_graph 跟踪器会在 Duration 列展示某个函数执行开销(时间)。之前的文档提到过,只有叶子函数,也就是没有继续调用子函数的函数,Ftrace 才会统计它的时间开销,这是因为在统计父函数的开销时,需要统计同时子函数的开销,以及 Ftrace 跟踪的开销。通过使用 set_ftrace_filter,用户可以强制将任何函数当做叶子函数处理,也就是可以在 Ftrace 跟踪结果中查看它的开销。
[tracing]# echo smp_apic_timer_interrupt > set_ftrace_filter
[tracing]# echo function_graph > current_tracer
[tracing]# cat trace | head
# tracer: function_graph
#
# CPU DURATION FUNCTION CALLS
# | | | | | | |
1) ==========> |
1) + 16.433 us | smp_apic_timer_interrupt();
1) ==========> |
1) + 25.897 us | smp_apic_timer_interrupt();
1) ==========> |
1) + 24.764 us | smp_apic_timer_interrupt();
如上所示,时间中断的开销在 16-26 微妙之间波动
函数采样
众多周知 oprofile 和 perf 是非常强大的分析工具,它们可以周期性对系统进行采样,并显示 CPU 大部分时间花在哪里。使用 Ftrace 的 函数 profiling 功能,可以直接查看(统计)系统正在执行的函数有哪些,Ftrace 是真实的跟踪统计,而不是对系统进行抽样统计。如果在内核中配置了CONFIG_FUNCTION_GRAPH_TRACER,函数分析器将使用 function graph 跟踪器的基础结构来记录每个函数执行了多长时间。如果只配置了CONFIG_FUNCTION_TRACER,函数分析器将只计算函数被调用的次数。
[tracing]# echo nop > current_tracer
[tracing]# echo 1 > function_profile_enabled
[tracing]# cat trace_stat/function 0 |head
Function Hit Time Avg
-------- --- ---- ---
schedule 22943 1994458706 us 86931.03 us
poll_schedule_timeout 8683 1429165515 us 164593.5 us
schedule_hrtimeout_range 8638 1429155793 us 165449.8 us
sys_poll 12366 875206110 us 70775.19 us
do_sys_poll 12367 875136511 us 70763.84 us
compat_sys_select 3395 527531945 us 155384.9 us
compat_core_sys_select 3395 527503300 us 155376.5 us
do_select 3395 527477553 us 155368.9 us
以上结果包含了函数被抢占的事件,schedule 调度时间,任务被切换到交换分区的事件。这些内容看起来没什么用,但它却可以让人知道哪些函数经常抢占 CPU 时间片。Ftrace还包括一些选项,在执行 profile 时让 function_graph 跟踪器忽略任务的调度时间。
[tracing]# echo 0 > options/sleep-time
[tracing]# echo 0 > function_profile_enabled
[tracing]# echo 1 > function_profile_enabled
[tracing]# cat trace_stat/function0 | head
Function Hit Time Avg
-------- --- ---- ---
default_idle 2493 6763414 us 2712.962 us
native_safe_halt 2492 6760641 us 2712.938 us
sys_poll 4723 714243.6 us 151.226 us
do_sys_poll 4723 692887.4 us 146.704 us
sys_read 9211 460896.3 us 50.037 us
vfs_read 9243 434521.2 us 47.010 us
smp_apic_timer_interrupt 3940 275747.4 us 69.986 us
sock_poll 80613 268743.2 us 3.333 us
禁用 function profile 分析器然后重新启用会导致 profile 的统计数据重置。默认情况下,统计结果会按平均时间排序。文件 trace_stat/function0 仅代表CPU 0 上的统计结果。系统上的每个CPU 都有一个 trace_stat/function# 文件。所有被统计和命中的函数都在这个文件中。
[tracing]# cat trace_stat/function0 | wc -l 2978
以上结果显示,从开启采样统计到现在为止,一共统计了 2978 个函数。
影响统计的另一个选项是 graph-time(中间用“-”连接)。默认情况下,它处于启用状态。启用后,函数的运行时间包括该函数调用的所有子函数的运行时间。禁用时,函数的运行时间仅包括函数本身的执行,不包括子函数运行的时间。在上面的示例中,我们看到了启用时的运行效果,下面我们看看禁用时的运行效果:
[tracing]# echo 0 > options/graph-time
[tracing]# echo 0 > function_profile_enabled
[tracing]# echo 1 > function_profile_enabled
[tracing]# cat trace_stat/function0 | head
Function Hit Time Avg
-------- --- ---- ---
mwait_idle 10132 246835458 us 24361.96 us
tg_shares_up 154467 389883.5 us 2.524 us
_raw_spin_lock_irqsave 343012 263504.3 us 0.768 us
_raw_spin_unlock_irqrestore 351269 175205.6 us 0.498 us
walk_tg_tree 14087 126078.4 us 8.949 us
__set_se_shares 274937 88436.65 us 0.321 us
_raw_spin_lock 100715 82692.61 us 0.821 us
kstat_irqs_cpu 257500 80124.96 us 0.311 us
结论:sleep-time 和 graph-time 两个选项都会影响 function_grapher 跟踪器的运行效果。
原文:
https://lwn.net/Articles/370423/

浙公网安备 33010602011771号