Fork me on GitHub
侧边栏

sched feature TTWU_QUEUE

TTWU_QUEUE 是 Linux 调度器中的一个 调度特性(sched feature),全称是 Task Wakeup Queue。它决定了在任务唤醒(wake-up)时,是否将任务直接入队到目标 CPU 的运行队列,还是采用更复杂的路径。

作用与背景

  • 当一个任务被唤醒(例如因为 I/O 完成或信号到达),调度器需要决定:
    • 立即入队目标 CPU(快速路径,减少延迟)
    • 通过中间队列或延迟处理(可能更公平,但增加延迟)

TTWU_QUEUE 打开时:

  • 唤醒操作会将任务放入一个 per-CPU 的唤醒队列,然后由该 CPU 的调度器在合适时机批量处理。
  • 优点:减少锁竞争,提高并发性能。
  • 缺点:可能增加唤醒延迟,尤其在低延迟场景(如交互或实时任务)不理想。

关闭 TTWU_QUEUE 时:

  • 任务直接插入目标 CPU 的运行队列(rq),唤醒延迟更低,但可能增加锁争用。

唤醒线程时,通过select_task_rq函数(考虑到负载均衡等因素)选择该线程要运行的目标CPU(可能不是当前执行唤醒操作的cpu)。通过函数cpus_share_cache判断如果目标CPU与当前CPU不共享LLC(即L3 cache,单socket中所有CPU共享的cache,如下图示),则将该线程加到目标cpu的wake_list后,向目标CPU发送IPI中断(这其中还有一个特殊情况不需要发送IPI,就是目前CPU当前正在运行idle线程,并且设置了TIF_POLLING_NRFLAG),让目标CPU在中断中(scheduler_ipi)处理唤醒逻辑。

其中TTWU_QUEUE是内核调度的其中一个feature,默认是打开的(true),可以控制在远程唤醒时是否允许向目标CPU触发IPI中断,如果不允许远程唤醒,则需要通过对目标CPU的运行队列加锁进行处理。可知TTWU_QUEUE就是为了减少运行队列的锁竞争,用中断代替。

  • 开启 TTWU_QUEUE 后,改为把待唤醒任务放入目标 CPU 的 wake_list,并通过 IPI 让目标 CPU 自己在中断上下文处理入队,从而避免当前 CPU 去争抢目标 CPU 的 rq 锁

1

2

3
try_to_wakeup --> ttwu_queue -->ttwu_queue_remote->smp_send_reschedule:
4

5
6

很早之前的做法是,只要不是唤醒在本CPU上,都是通过IPI中断,这样IPI中断负载就比较高:

1

posted @ 2025-11-30 14:40  yooooooo  阅读(0)  评论(0)    收藏  举报