ftrace 函数追踪器的用法

 从 Ftrace 衍生出来的最强大的跟踪器可能是 function (函数)跟踪器。它几乎可以跟踪内核中的每个函数。不仅可以用于调试或分析,还可以用于学习和观察 Linux 内核的运行流程。

在前面两篇文章,使用 Ftrace 调试 Linux 内核的第一部分和第二部分,我们解释了 Ftrace 和 函数跟踪器的一些基本特性;本文是在假设读者已经阅读过它们的情况下写的。与前面的文章一样,本文中的示例假设用户已经进入到 ftrace 模块的调试目录。

为了支持本文介绍的 ftrace 特性,需要启用的内核配置选项是:

  • CONFIG_FUNCTION_TRACER
  • CONFIG_DYNAMIC_FTRACE
  • CONFIG_FUNCTION_GRAPH_TRACER

如前几篇文章所示,这是一个如何启用函数跟踪器的快速示例。

   [tracing]# echo function > current_tracer
   [tracing]# cat trace
          <idle>-0     [000] 1726568.996435: hrtimer_get_next_event <-get_next_timer_interrupt
          <idle>-0     [000] 1726568.996436: _spin_lock_irqsave <-hrtimer_get_next_event
          <idle>-0     [000] 1726568.996436: _spin_unlock_irqrestore <-hrtimer_get_next_event
          <idle>-0     [000] 1726568.996437: rcu_needs_cpu <-tick_nohz_stop_sched_tick
          <idle>-0     [000] 1726568.996438: enter_idle <-cpu_idle
          ...

 以上从左到右依次显示了进程名称(<idle>)、PID(0)、执行 trace 行为的CPU([000])、以秒为单位的时间戳,小数位数精确到微秒(1726568.996435)、被跟踪的函数(hrtimer_get_ext_event)和调用该函数的父函数(get_ext_timer_interrupt)。

 

跟踪指定的函数

运行 (function tracer) 函数跟踪器可能会让人不知所措。 默认情况下 Ftrace 在执行跟踪时会产生大量的数据量,让人很难一眼抓住重点。为此 Ftrace 提供了方法用于过滤出指定函数的跟踪。ftrace 通过两个文件,用于过滤出具体要跟踪哪些函数:

   set_ftrace_filter
   set_ftrace_notrace

 Ftrace 的过滤特性取决于 CONFIG_DYNAMIC_FTRACE 选项。如前几篇文章所述,启用此配置后,所有 mcount 用者位置都会被存储,并在启动时转换为NOP。这些位置被保存并用于在启动函数跟踪器时启用跟踪。但这也有一个很好的副作用:并非所有函数都会被 Ftrace 跟踪。上述文件将决定哪些函数被 Ftrace 跟踪,哪些函数不被 Ftrace 跟踪。

将需要跟踪的目标内核函数写入 set_ftrace_filter 文件后,Ftrace 只会跟踪这些函数。就实际效果而言,这有助于提高系统的整体性能。如果采用默认的跟踪内核所有函数会产生很大的性能开销,但在配置 set_ftrace_filter 后,只有写入该文件中的函数才会启用 Ftrace 的跟踪功能。根据用户跟踪的函数不同,通常如果仅仅跟踪几百个内核函数,几乎不会有大的性能开销,具体还要看内核函数的执行次数,建议在跟踪前使用 Ftrace 剖析器有了初步了解后,在考虑跟踪多少个函数,甚至是否有跟踪的必要。

配置 set_ftrace_notrace 文件的效果与配置 set_ftrace_filter 效果相反,写入 set_ftrace_notrace 文件中的函数不会被 ftrace 跟踪。在实际分析时,有些内核函数经常出现,跟踪这些函数不仅会减慢系统的运行速度,还会填满跟踪缓冲区,使我们分析自己关心的函数时变得更加困难。rcuread_lock()和spin_lock(()等函数属于这一类。

通常使用 bash 重定向 向这些文件中添加函数用于实现跟踪过滤效果。注意:使用符号 “>” 将删除文件中的现有设置的内核函数,并将要跟踪结果添加到文件中。使用 “>>” 可以将新设置的内核函数追加到配置文件,同时保留文件中原就有的内核函数。  

   [tracing]# echo sys_read > set_ftrace_filter
   [tracing]# cat set_ftrace_filter
   sys_read
   [tracing]# echo sys_write >> set_ftrace_filter
   [tracing]# cat set_ftrace_filter
   sys_write
   sys_read
   [tracing]# echo sys_open > set_ftrace_filter
   [tracing]# cat set_ftrace_filter
   sys_open

To remove all functions just echo a blank line into the filter file.

   [tracing]# echo sys_read sys_open sys_write > set_ftrace_notrace 
   [tracing]# cat set_ftrace_notrace
   sys_open
   sys_write
   sys_read
   [tracing]# echo > set_ftrace_notrace
   [tracing]# cat set_ftrace_notrace
   [tracing]#

上面说的配置方式同样可以通过内核命令行实现,通过 ftrace_notrace 和 ftrace_filter 选项就可以实现目的,具体参考如下示例:

   ftrace_notrace=rcu_read_lock,rcu_read_unlock,spin_lock,spin_unlock
   ftrace_filter=kfree,kmalloc,schedule,vmalloc_fault,spurious_faultt

通过命令行的方式,我们达到了预先设置 Ftrace 需要过滤和不过滤的函数,后续我们依然可以同上面提到的方法,对这些设置进行覆盖或者追加  

 

set_ftrace_notrace 中配置的内核函数具有优先权。也就是说,如果一个函数同时列在 set_ftrace_noterace 和 set_ftrace_filter 中,则该函数将不会被 Ftrace 跟踪。  

  

通配符过滤

 通过查看 available_filter_functions 文件可以查看 Ftrace 都支持跟踪哪些内核函数,这些函数名来源于前面提到的存储有 mcount 的函数。

   [tracing]# cat available_filter_functions | head -8
   _stext
   do_one_initcall
   run_init_process
   init_post
   name_to_dev_t
   create_dev
   T.627
   set_personality_64bitk 

可以将  available_filter_functions 的结果过滤后,直接写入上面提到的文件中

   [tracing]# grep sched available_filter_functions > set_ftrace_filter
   [tracing]# cat set_ftrace_filter | head -8
   save_stack_address_nosched
   mce_schedule_work
   smp_reschedule_interrupt
   native_smp_send_reschedule
   sys32_sched_rr_get_interval
   sched_avg_update
   proc_sched_set_task
   sys_sched_get_priority_max

不幸的是,向 Ftrace 过滤文件添加大量的内核函数名会很慢,您可能注意到上面的 grep 执行了几秒钟。这是因为写入配置文件中的每个函数名称都将被单独处理。上面的 grep 生成了300 多个函数名。这 300 个名称中的每一个都将与内核中的每个函数名称进行比较(使用strcmp()),这是相当多的。

   [tracing]# wc -l  available_filter_functions 
   24331 available_filter_functions

因此,上面的 set_ftrace_filter 配置,将生成超过 300 * 24331(7299300)次函数比较。

幸运的是,还可以通过通配符设置要过滤的文件;以下glob表达式有效:

  • value*   - 过滤所有以 value 开头的内核函数,Ftrace 会跟踪这些内核函数。
  • *value*  - 过滤包含 value 的所有内核函数,Ftrace 会跟踪这些内核函数。
  • *value    - 过滤所有以 value 结尾的内核函数,Ftrace 会跟踪这些内核函数。

内核自带的的解析器很简单,不会以你预期的方式处理表达式 “value*value”。它会忽略第二个 value,只匹配所有以 value 开头的函数,而不管它以什么结尾。传递给过滤器文件的通配符会依次和每个 Ftrace 可跟踪的内核函数进行比较,这比在过滤器文件中写一堆函数,然后针对每个函数单独做处理要快得多。
注意:bash 也可以使用星号(*),所以在使用时最好用引号括住正则表达式:

   [tracing]# echo set* > set_ftrace_filter
   [tracing]# cat set_ftrace_filter
   #### all functions enabled ####
   [tracing]# echo 'set*' > set_ftrace_filter
   [tracing]# cat set_ftrace_filter | head -5
   set_personality_64bit
   set_intr_gate_ist
   set_intr_gate
   set_intr_gate
   set_tsc_mode

在往过滤器文件中写目标函数时,还可以通过使用 “mod” 命令,仅选择属于特定模块的函数,做为 Ftrace 跟踪的目标:

   [tracing]# echo ':mod:tg3' > set_ftrace_filter
   [tracing]# cat set_ftrace_filter |head -8
   tg3_write32
   tg3_read32
   tg3_write_flush_reg32
   tw32_mailbox_flush
   tg3_write32_tx_mbox
   tg3_read32_mbox_5906
   tg3_write32_mbox_5906
   tg3_disable_ints

如果您正在调试单个模块,并且只想在 Ftrace 的跟踪结果中查看属于该模块的函数,这将非常有用。
在前面的文章中,我们通过在命令行上使用 traceing_on 文件控制向 ftrace ring buffer(环形缓冲区) 输出跟踪结果,或者通过在内核中调用 traceing_on()和traceing_off()来达到同样的目的。但是,如果你不想重新编译内核,并且想在特定函数处停止跟踪,set_ftrace_filter 有一个方法可以做到这一点。

开启或者关闭 Ftrace 跟踪某函数的指令格式如下所示(我们将上面的方式叫做普通方式,这里的设置方式叫做命令方式):

   function:command[:count]

 格式说明:

在函数开始执行时会执行 command,command 可以是 traceon 或 traceoff,后面可以添加一个可选的计数,表示该命令只执行给定的次数。如果省略计数(包括前面的冒号),则每次调用该函数时都会执行该命令。

 

从 Ftrace 跟踪目标中删除一部分内核函数 

 如前所述,通过 “>” 向过滤文件输入空白内容,可以实现清空所有要求过滤的跟踪目标。但是,如果只想从中删除一部分函数呢?

   [tracing]# cat set_ftrace_filter > /tmp/filter
   [tracing]# grep -v lock /tmp/filter > set_ftrace_filter

以上方法是有效的,正如前面提到的,使用这种方法时,如果 set_ftrace_filter 文件中已经有多个待过滤函数,整个设置需要一段时间才能生效。

以下代码执行相同的操作,但速度要快得多:

   [tracing]# echo '!*lock*' >> set_ftrace_filter

 如上方法的 “!” 符号会删除 set_ftrace_filter(筛选器)文件中已有的包含 lock 字段的函数。 “!” 支持与通配符一起使用,但也可以与单个函数一起使用。由于 “!”在 bash 中存在特殊含义,使用时必须用单引号括起来,否则 bash 执行的结果可能与你预想的不一样。还要注意,如果在使用 ">>" 时用了 “>”,最终会在过滤器(set_ftrace_filter)文件中不会存在待过滤的函数。

Ftrace 的过滤器有两种设置方式(上一节提到的命令和普通方式),又因为这两种方式是独立的,且相互不会干扰,所以普通方式的清除 set_ftrace_filter 不会清除用命令方式添加的过滤设置。必须以命令的方式用“!”删除设置。

   [tracing]# echo 'sched*' > set_ftrace_filter
   [tracing]# echo 'schedule:traceoff' >> set_ftrace_filter
   [tracing]# cat trace | tail -5
   schedule_console_callback
   schedule_bh
   schedule_iso_resource
   schedule_reallocations           普通设置
   schedule:traceoff:unlimited      命令方式的设置
   [tracing]# echo > set_ftrace_filter
   [tracing]# cat set_ftrace_filter
   #### all functions enabled ####
   schedule:traceoff:unlimited      这里采用命令方式设置的过滤,还没有删除
   [tracing]# echo '!schedule:traceoff' >> set_ftrace_filter
   [tracing]# cat set_ftrace_filter
   #### all functions enabled ####
   [tracing]# 

  如上所示,我们使用 echo > set_ftrace_filter 清空 Ftrace 过滤器时只影响了普通方式的设置,而没有影响命令方式的设置。

跟踪指定的进程

有时候我们需要跟踪一个特定的流程或一组流程。通过文件 set_ftrace_pid 可以设置我们需要跟踪的特定进程。要跟踪当前线程,可以执行以下操作:

   [tracing]# echo $$ > set_ftrace_pid

执行完上面的指令后,Ftrace 会仅跟踪执行 echo 命令的 bash shell。如果你想跟踪一个特定的进程,你可以创建一个 shell 脚本包装程序。

   [tracing]# cat ~/bin/ftrace-me
   #!/bin/sh
   DEBUGFS=`grep debugfs /proc/mounts | awk '{ print $2; }'`
   echo $$ > $DEBUGFS/tracing/set_ftrace_pid
   echo function > $DEBUGFS/tracing/current_tracer
   exec $*
   [tracing]# ~/bin/ftrace-me ls -ltr

注意,在执行完上述操作后继续返回通用函数跟踪,则必须清除 set_ftrace_pid 文件。 

   [tracing]# echo -1 > set_ftrace_pid

 

查看某个内核函数的调用详细  

(这段我也没看明白,既然 Ftrace 的本质就是跟踪,为啥还要这一段;看很多网上的示例,其实都已经打印了调用详细)

有时我们需要了解某个内核函数的内部的调用详细。 Ftrace 的函数追踪器提供了一个配置选项用于向 ring buffer 输出每个内核函数的调用详细。 需要注意的是开启这个特性会导致系统产生很重的负担,甚至是产生锁冲突。

为了使用这个特性,在使用 options/func_stack_trace 选项前,必须优先配置函数追踪器(function tracer)。

   [tracing]# echo kfree > set_ftrace_filter
   [tracing]# cat set_ftrace_filter
   kfree
   [tracing]# echo function > current_tracer
   [tracing]# echo 1 > options/func_stack_trace
   [tracing]# cat trace | tail -8
    => sys32_execve
    => ia32_ptregs_common
                cat-6829  [000] 1867248.965100: kfree <-free_bprm
                cat-6829  [000] 1867248.965100: <stack trace>

    => free_bprm
    => compat_do_execve
    => sys32_execve
    => ia32_ptregs_common
   [tracing]# echo 0 > options/func_stack_trace
   [tracing]# echo > set_ftrace_filter

  这里需要注意用法,以上我在开启 options/func_stack_trace 选项前,先确认了 set_ftrace_filter 中的内容。在 Ftrace 跟踪结束的时候,先禁用了 options/func_stack_trace 选项,然后删除了 Ftrace 的过滤(set_ftrace_filter)设置。这需要注意  options/func_stack_trace 选项不会自动丢失,因此如果你配置了新的 current_tracer,也会继续使用此时的  options/func_stack_trace 选项。

Function_graph 跟踪器

function 跟踪器的功能很强大,但是不利于人脑识别。function_graph 在 function 的基础上扩大了它的功能,使得人脑能快速识别和分析。就目前而言,暂时不支持用指令(traceon/traceoff)方式配置的跟踪和 set_ftrace_pid 方式配置的跟踪(据说未来会支持)。

在前面的章节,我们提到了 fuction_graph 跟踪器,但是没有提到 set_graph_function 文件。通过上一节提到的 func_stack_trace 文件可以查看内核函数在执行期间执行了什么。但是通过 set_graph_function 可以清楚看到一个函数的调用内容(这块不好翻译。。。我理解为 func_stack_trace 可以看到函数 A 底下调用了函数 B 和函数 C 等函数名字,但是更具体的就没有了)。

   [tracing]# echo kfree > set_graph_function
   [tracing]# echo function_graph > current_tracer
   [tracing]# cat trace
   # tracer: function_graph
   #
   # CPU  DURATION                  FUNCTION CALLS
   # |     |   |                     |   |   |   |
    0)               |  kfree() {
    0)               |    virt_to_cache() {
    0)               |      virt_to_head_page() {
    0)   0.955 us    |        __phys_addr();
    0)   2.643 us    |      }
    0)   4.299 us    |    }
    0)   0.855 us    |    __cache_free();
    0)   ==========> |
    0)               |    smp_apic_timer_interrupt() {
    0)               |      apic_write() {
    0)   0.849 us    |        native_apic_mem_write();
    0)   2.853 us    |      }
   [tracing]# echo > set_graph_functiony 

以上仅展示 kfree 函数的调用详细。其中 “ ==========> ” 表示在这时发生了中断。 Ftrace 跟踪时会 kfree 阻塞期间执行的所有函数,甚至是 kfree 执行期间因中断触发执行的函数。

function_graph 跟踪器会在 Duration 列展示某个函数执行开销(时间)。之前的文档提到过,只有叶子函数,也就是没有继续调用子函数的函数,Ftrace 才会统计它的时间开销,这是因为在统计父函数的开销时,需要统计同时子函数的开销,以及 Ftrace 跟踪的开销。通过使用 set_ftrace_filter,用户可以强制将任何函数当做叶子函数处理,也就是可以在 Ftrace 跟踪结果中查看它的开销。

   [tracing]# echo smp_apic_timer_interrupt > set_ftrace_filter
   [tracing]# echo function_graph > current_tracer
   [tracing]# cat trace | head
   # tracer: function_graph
   #
   # CPU  DURATION                  FUNCTION CALLS
   # |     |   |                     |   |   |   |
    1)   ==========> |
    1) + 16.433 us   |  smp_apic_timer_interrupt();
    1)   ==========> |
    1) + 25.897 us   |  smp_apic_timer_interrupt();
    1)   ==========> |
    1) + 24.764 us   |  smp_apic_timer_interrupt();

  如上所示,时间中断的开销在 16-26 微妙之间波动

函数采样

众多周知 oprofile 和 perf 是非常强大的分析工具,它们可以周期性对系统进行采样,并显示 CPU 大部分时间花在哪里。使用 Ftrace 的 函数 profiling 功能,可以直接查看(统计)系统正在执行的函数有哪些,Ftrace 是真实的跟踪统计,而不是对系统进行抽样统计。如果在内核中配置了CONFIG_FUNCTION_GRAPH_TRACER,函数分析器将使用 function graph 跟踪器的基础结构来记录每个函数执行了多长时间。如果只配置了CONFIG_FUNCTION_TRACER,函数分析器将只计算函数被调用的次数。

   [tracing]# echo nop > current_tracer
   [tracing]# echo 1 > function_profile_enabled
   [tracing]# cat trace_stat/function 0 |head
     Function                               Hit    Time            Avg
     --------                               ---    ----            ---
     schedule                             22943    1994458706 us     86931.03 us 
     poll_schedule_timeout                 8683    1429165515 us     164593.5 us 
     schedule_hrtimeout_range              8638    1429155793 us     165449.8 us 
     sys_poll                             12366    875206110 us     70775.19 us 
     do_sys_poll                          12367    875136511 us     70763.84 us 
     compat_sys_select                     3395    527531945 us     155384.9 us 
     compat_core_sys_select                3395    527503300 us     155376.5 us 
     do_select                             3395    527477553 us     155368.9 us 

以上结果包含了函数被抢占的事件,schedule 调度时间,任务被切换到交换分区的事件。这些内容看起来没什么用,但它却可以让人知道哪些函数经常抢占 CPU 时间片。Ftrace还包括一些选项,在执行 profile 时让 function_graph 跟踪器忽略任务的调度时间。

   [tracing]# echo 0 > options/sleep-time
   [tracing]# echo 0 > function_profile_enabled
   [tracing]# echo 1 > function_profile_enabled
   [tracing]# cat trace_stat/function0  | head
     Function                               Hit    Time            Avg
     --------                               ---    ----            ---
     default_idle                          2493    6763414 us     2712.962 us 
     native_safe_halt                      2492    6760641 us     2712.938 us 
     sys_poll                              4723    714243.6 us     151.226 us  
     do_sys_poll                           4723    692887.4 us     146.704 us  
     sys_read                              9211    460896.3 us     50.037 us   
     vfs_read                              9243    434521.2 us     47.010 us   
     smp_apic_timer_interrupt              3940    275747.4 us     69.986 us   
     sock_poll                            80613    268743.2 us     3.333 us    

 禁用 function profile 分析器然后重新启用会导致 profile 的统计数据重置。默认情况下,统计结果会按平均时间排序。文件 trace_stat/function0 仅代表CPU 0 上的统计结果。系统上的每个CPU 都有一个 trace_stat/function# 文件。所有被统计和命中的函数都在这个文件中。

   [tracing]# cat trace_stat/function0  | wc -l
   2978

 以上结果显示,从开启采样统计到现在为止,一共统计了 2978 个函数。

影响统计的另一个选项是 graph-time(中间用“-”连接)。默认情况下,它处于启用状态。启用后,函数的运行时间包括该函数调用的所有子函数的运行时间。禁用时,函数的运行时间仅包括函数本身的执行,不包括子函数运行的时间。在上面的示例中,我们看到了启用时的运行效果,下面我们看看禁用时的运行效果:

   [tracing]# echo 0 > options/graph-time
   [tracing]# echo 0 > function_profile_enabled
   [tracing]# echo 1 > function_profile_enabled
   [tracing]# cat trace_stat/function0  | head
     Function                               Hit    Time            Avg
     --------                               ---    ----            ---
     mwait_idle                           10132    246835458 us     24361.96 us 
     tg_shares_up                        154467    389883.5 us     2.524 us    
     _raw_spin_lock_irqsave              343012    263504.3 us     0.768 us    
     _raw_spin_unlock_irqrestore         351269    175205.6 us     0.498 us    
     walk_tg_tree                         14087    126078.4 us     8.949 us    
     __set_se_shares                     274937    88436.65 us     0.321 us    
     _raw_spin_lock                      100715    82692.61 us     0.821 us    
     kstat_irqs_cpu                      257500    80124.96 us     0.311 us    

 结论:sleep-time 和 graph-time 两个选项都会影响 function_grapher 跟踪器的运行效果。

  

  

 

  

  

 

 

 

原文:
https://lwn.net/Articles/370423/

posted @ 2025-02-26 09:04  dos_hello_world  阅读(64)  评论(0)    收藏  举报