论文速读记录 | 2026.10

---

目录

• FlexLoop: Depth-Elastic Looped Policies for Adaptive Test-Time Computation in Deep RL
  • 1. 理论 + 方法
  • 2. 实验
• On the role of computation in reinforcement learning
  • 1. IRU：怎么“只加计算，不加参数”
  • 2. 必要的门控机制，以及消融实验
  • 3. 提出 Value of Compute 的概念
  • 4. 其他必要背景
• Separating Signal from Noise in Coding Evaluations
• SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning
• Risk-Sensitive RL for Alleviating Exploration Dilemmas in Large Language Models
• PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier
• Learning to Learn with Contrastive Meta-Objective
• Multi-Type Preference Learning: Empowering Preference-Based Reinforcement Learning with Equal Preferences
• MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
• Absolute Zero: Reinforced Self-play Reasoning with Zero Data
• auto-curriculum learning (Jiang et al., 2021b)
• Meta-Motivo（Tirinzoni 等人，2025），zero-shot goal-conditioned RL
• Unsupervised Skill Discovery via Recurrent Skill Training
• Learning to Discover Skills through Guidance
• One After Another: Learning Incremental Skills for a Changing World
• Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching
• Horizon Generalization in Reinforcement Learning
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions
• Contrastive Preference Learning: Learning from Human Feedback without RL
• Few is More: Task-Efficient Skill-Discovery for Multi-Task Offline Multi-Agent Reinforcement Learning
• Rethinking Reward Modeling in Preference-based Large Language Model Alignment
• DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback
• Data Center Cooling System Optimization Using Offline Reinforcement Learning
• SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking
• Rethinking Inverse Reinforcement Learning: from Data Alignment to Task Alignment
• Why Distillation can Outperform Zero-RL: The Role of Flexible Reasoning
• Thinkless: LLM Learns When to Think
• Learning to Reason without External Rewards

---

FlexLoop: Depth-Elastic Looped Policies for Adaptive Test-Time Computation in Deep RL

• 来源：同学的最新力作。
• arxiv：https://arxiv.org/abs/2609.34488
• pdf：https://arxiv.org/pdf/2609.34488
• html：https://arxiv.org/html/2609.34488v1
• 参考博客：CSDN |【论文阅读笔记】FlexLoop：让循环深度强化学习策略按状态自适应使用计算
• 同学说 follow 了 icml 2026 oral，eysenbach 的文章，详见下一篇。

ai 速读：

主旨：像 IRU（下一篇文章）这样的循环策略，通过固定参数、增加递归计算深度，来提升 RL 的性能，但固定循环深度的训练，会让策略只在全深度可靠，浅层几乎不能用。这篇文章的 FlexLoop 方法通过 “后训练”，把这种“深度专一化”策略变成“深度弹性”策略，从而在部署时按状态难度自适应分配计算。

具体的，FlexLoop 发现的问题：

Looped policy（如 IRU）反复用同一个块，递归深度 \(K\) 就是推理计算量。但论文发现：用固定深度 \(K\) 训练后，可靠决策集中在 \(K\)，浅层 \(1,\dots,K-1\) 性能骤降。图 1 里，IRU-1、IRU-2、IRU-5 各自只在自己训练的深度附近表现好。所以全深度策略虽强，但部署时不能随便少算，否则性能崩。

目标：depth elasticity，所谓 “深度弹性” —— 同一个策略在多个递归深度下都可靠，可按需调整计算。

1. 理论 + 方法

理论动机：为什么需要显式追求 depth elasticity，以及如何追求。

• Prop 4.1：全深度接近最优，不保证浅层也好。存在共享权重循环策略，全深度接近最优，所有浅层接近最差。所以不能指望只训全深度，浅层就自然能用。

• Prop 4.2：控制相邻深度策略差异，就能控制浅层与全深度的性能差距。

  \[|J(\pi_k)-J(\pi_K)|\le \frac{2R_{\max}}{(1-\gamma)^2}(K-k)\sqrt{\frac{\delta_{\max}}{2}} \]

  其中 \(\delta_{\max}\) 是相邻深度策略的最大 KL 差异。这为“相邻深度蒸馏”和“自适应停止”提供了理论依据。

方法：FlexLoop 后训练

从预训练好的固定深度 \(K\) 的 looped policy 出发，做后训练。

总的 loss function：

\[\mathcal{L}_{\text{FlexLoop}}=\mathcal{L}_{\text{RL}}+\lambda_{\text{depth}}\mathcal{L}_{\text{depth}} \]

• 保留原始 RL 目标 \(\mathcal{L}_{\text{RL}}\)：继续优化全深度策略，保持原能力和 OOD 泛化。

• 相邻深度策略蒸馏 \(\mathcal{L}_{\text{depth}}\)：

  \[\mathcal{L}_{\text{depth}}=\frac{1}{K-1}\sum_{k=1}^{K-1}D(\mathrm{sg}[\pi_{k+1}],\pi_k) \]

  让深层 \(\pi_{k+1}\) 教浅层 \(\pi_k\)，逐层把决策质量从 \(K\) 传到 \(K-1\)、再传到 \(K-2\)… 最终，浅层也能独立决策。\(\mathrm{sg}[\cdot]\) 是 stop-gradient，只让浅层去学习深层，而不破坏深层。

算法在 GC-DQN、GC-PPO、GC-IQL 上分别实例化。

自适应推理：什么时候停止计算

定义相邻深度策略差异：

\[\delta_k(s,g)=D(\pi_{k-1}(\cdot|s,g),\pi_k(\cdot|s,g)) \]

如果继续加深，策略输出已经不怎么变，说明再算意义不大。给定阈值 \(\epsilon\)，停止深度：

\[k^*(s,g)=\min\left(\{k>k_{\min}:\delta_k(s,g)<\epsilon\}\cup\{K\}\right) \]

这样可以实现：困难状态继续算，简单状态提前停。

2. 实验

在 30 个 online / offline 长时域目标条件环境上实验，包括 BoxPick、LightsOut-4x5、OGBench。基础算法 GC-DQN、GC-PPO、GC-IQL，backbone 主要是 IRU-5。

主要结果：

• 保持全深度性能，同时让浅层深度可靠；
• 浅层提升能泛化到 unseen 任务；
• 自适应推理平均递归深度减少最高 43%；
• BoxPick-Exact-4 压力测试中 wall-clock 加速最高 1.34×；
• 性能保持 competitive 或更好。

可视化：简单动作（按按钮、直行）用浅层；关键决策（目标切换、转弯）用深层。

消融：

• 只用 RL：保持泛化，但浅层提升有限；
• 只用蒸馏：浅层变好，但全深度或 unseen 泛化受损；
• \(\lambda_{\text{depth}}\) 要适中，太大伤泛化；
• LSTM 也能用，容量更大受益更多。

On the role of computation in reinforcement learning

• 来源：据说是上一篇 follow 的文章。并且是 eysenbach 的文章。上一篇文章似乎是这篇文章显式点明的 future work。
• arxiv：https://arxiv.org/abs/2602.05999
• pdf：https://arxiv.org/pdf/2602.05999
• html：https://arxiv.org/html/2602.05999v4
• 参考博客：CSDN |【论文阅读笔记】强化学习中的计算视角：打破静态策略，用“思考时间”换取泛化能力

ai 速读：

主旨：RL 策略不该只是固定计算量的静态函数。固定参数量，只增加推理时的计算量，也能让策略更强、更泛化。IRU 就是用来验证这一点的极简架构。

1. IRU：怎么“只加计算，不加参数”

IRU 的核心是：让同一个 recurrent block 反复跑 \(N\) 次，所有步骤共享参数。
所以 \(N\) 增大时，参数量基本不变，增加的是串行计算步数。

它的门控计算是：

\[f_i=\sigma(\mathrm{FORGET}([x,\tanh(c_i)])) \]

\[I_i=\tanh(\mathrm{INPUT}([x,\tanh(c_i)])) \]

\[c_{i+1}=f_i\odot c_i+(1-f_i)\odot I_i \]

通俗说：

• \(f_i\) 是门控，决定保留多少旧记忆；
• \(I_i\) 是当前算出的新候选信息；
• 新状态 \(c_{i+1}\) 是“旧记忆”和“新信息”的插值；
• 因此它很像极简版 LSTM/GRU，论文叫它 Interpolation Recurrent Unit。

完整架构大致是：

输入 → Linear → LayerNorm → IRU 重复 \(N\) 次 → Tanh + Linear → 动作 / 价值。

2. 必要的门控机制，以及消融实验

为什么门控重要？

如果只是把普通残差块反复加深，比如 Recurrent ResNet：

\[x_{i+1}=x_i+f(x_i) \]

它没有门控，不能选择性遗忘或保留信息。反复跑容易让表示漂移、爆炸，或者无法稳定地迭代出“算法式”解。

IRU 的门控让同一块网络反复应用时，可以稳定地“多想几步”，逐步精炼表示。

消融实验：不是所有结构反复加深都有效

论文在 boxpick-exact-4 上比较了：

• IRU
• LSTM
• Recurrent ResNet
• Deep recursion / Deep Supervision 变体

结果：

1. LSTM 略优于 IRU，但 IRU 在相同深度和隐藏维度下，速度约为 LSTM 的 2 倍，参数量约一半。

2. Recurrent ResNet 没有从额外计算中获益，训练和评估都明显差于 IRU 和 LSTM。评估时尤其差，几乎学不到可泛化的长时域策略。

3. Deep recursion / Deep Supervision 也相对较差，说明不是随便加递归、加监督、加深度就能复制收益。

4. 结论：额外计算要变成有效收益，需要合适的架构归纳偏置，尤其是门控机制。简单残差递归不行。

3. 提出 Value of Compute 的概念

概念：Value of Compute，VoC，类比 POMDP 中的“信息价值”。它衡量的是：临时多用一些计算，到底值不值？

具体的，给定两个策略：

• \(\pi_{t_1}\)：用较少计算，比如 IRU-(1)；
• \(\pi_{t_2}\)：用较多计算，比如 IRU-(5)。

\(n\)-step VoC 的直观含义是：

一直用 \(\pi_{t_1}\) 的价值，减去“先用 \(\pi_{t_2}\) 走 \(n\) 个 MDP 步，再切回 \(\pi_{t_1}\)”的回报。

差值越大，说明临时多算越值；差值越小，说明多算没太大用。

实验分析

论文在 boxpick-exact-4 上，比较 IRU-(1) 和 IRU-(5)，沿成功轨迹计算 VoC。

两个主要发现：

1. VoC 随 \(n\) 增加而增加：如果 agent 被迫继续用较少计算更久，价值损失会越来越大。少算几步可能还能撑住，少算很多步会越来越亏。
2. VoC 在 episode 前半段达到峰值，后段逐渐下降，最后趋近零，这很符合直觉：
   • 早期：选对动作既困难又关键，算错可能进入很难恢复的状态；
   • 后期：大部分任务已完成，动作相对容易，多算价值低。

意义

VoC 提供了一个诊断工具：

• 告诉我们轨迹中哪些阶段额外计算最值钱；
• 暗示未来可以做自适应计算：难的状态多想几步，简单的状态少想几步；
• 也可以用于推理时计算分配，甚至预计算并存入记忆。

论文也承认：目前所有状态都用固定 recurrent 步数，还没有真正实现自适应计算。

4. 其他必要背景

• 理论：论文把策略看成时间受限图灵机，证明：
  • 存在 MDP，计算更多的策略可以任意优于计算更少的策略；
  • 计算少的策略可以在训练任务上最优，但在更长时域的测试任务上任意变差。
• 实验：在 31 个任务上，包括 Boxpick、Lightsout、OGBench。IRU-(10) 通常优于 MLP 和 ResNet，且参数更少、计算更少，长时域泛化更好。
• Yoked 实验：性能提升主要来自模型表达力 / 计算能力，而不是更多计算带来的探索改善。
• 局限：目前所有状态用固定计算步数，没有做到按状态难度自适应分配计算；也没有探索 Transformer 类递归架构。

极简总结：

IRU 用参数共享 + 门控插值，让同一块网络反复跑，实现“固定参数、增加计算”。
消融表明：不是所有反复加深都有效，门控等归纳偏置很关键。
Value of Compute 则衡量“临时多算几步值不值”，发现关键决策阶段计算价值最高，为未来自适应计算提供了度量基础。

Separating Signal from Noise in Coding Evaluations

• OpenAI Blog：https://openai.com/index/separating-signal-from-noise-coding-evaluations/
• 来源：最近关心的方向。
• 内容概括（还没有读）：OpenAI 对 SWE-bench Pro 进行了大规模质量审计，结合 Agent 自动检查和软件工程师人工复核，估计约 30% 的题目存在缺陷，包括测试过严、测试覆盖不足、任务描述不完整及误导性描述。

SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

• arXiv：https://arxiv.org/abs/2609.08149
• PDF：https://arxiv.org/pdf/2609.08149
• HTML：https://arxiv.org/html/2609.08149
• GitHub：https://github.com/open-compass/AgentCompass
• Dataset：https://huggingface.co/datasets/opencompass/SWEBench-Pro-Verifie
• evaluation guide：https://agent-compass.mintlify.app/en/user_guide/modules/benchmarks/swebench_pro_verified
• 来源：最近关心的方向。
• 内容概括（还没有读）：研究 SWE-bench Pro 中的两类可靠性问题：gold solution / hidden evaluation 泄露导致的 reward hacking，以及题目描述和测试质量问题。通过 anti-hacking safeguards 和 task refinement 构建更可信的 Benchmark。

ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning

• 来源：曾经想看的正样本文章。
• arxiv：https://arxiv.org/abs/2503.09501
• pdf：https://arxiv.org/pdf/2503.09501
• html：https://arxiv.org/html/2503.09501v3
• GitHub：https://github.com/ziyuwan/ReMA-public

Risk-Sensitive RL for Alleviating Exploration Dilemmas in Large Language Models

• 来源：曾经想看的正样本文章。
• arxiv：https://arxiv.org/abs/2509.24261
• pdf：https://arxiv.org/pdf/2509.24261
• html：https://arxiv.org/html/2509.24261v1
• GitHub：https://github.com/Jackory/RS-GRPO

感觉 intro 和 related work 写的真好啊。

这个当时简单看了一下。

PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier

• 来源：曾经想看的正样本文章。
• arxiv：https://arxiv.org/abs/2506.10406
• pdf：https://arxiv.org/pdf/2506.10406
• html 坏掉了。
• website：https://jackory.github.io/pag/
• GitHub：https://github.com/Jackory/Policy-As-GenVerifier

Learning to Learn with Contrastive Meta-Objective

• 来源：无意中看到的，NeurIPS 2025 oral。
• arxiv：https://arxiv.org/abs/2410.05975

（还没读。这篇文章看起来比较古典，做的是传统 ML，并不是做 llm 的。
（这个东西能用在 llm 上吗？现在看到一个东西，就会想它能否用在 llm 上

Multi-Type Preference Learning: Empowering Preference-Based Reinforcement Learning with Equal Preferences

• 来源：无意中搜到的。ICRA 2025。
• arxiv：https://arxiv.org/abs/2409.07268
• GitHub：https://github.com/FeiCuiLengMMbb/paper_MTPL
• 好奇是不是 multi-type + PbRL。

MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration

• arxiv：https://arxiv.org/abs/2006.08170
• 来源：合作者说有趣的 skill + meta-RL 论文，ICML 2021。

Absolute Zero: Reinforced Self-play Reasoning with Zero Data

• arxiv：https://arxiv.org/abs/2505.03335
• 来源：neurips 2025 best paper 的一作 yue yang 的 NeurIPS 2025 spotlight 工作。被题目吸引住了，单纯好奇，想读一读。

auto-curriculum learning (Jiang et al., 2021b)

• 来源：RSD。似乎可以做自动 curriculum learning，或许是有启发性的。

Meta-Motivo（Tirinzoni 等人，2025），zero-shot goal-conditioned RL

• 来源：RGSD。可能包含一个技能库，也想看。速读一下就行。

Unsupervised Skill Discovery via Recurrent Skill Training

• 来源：合作者推荐的 skill discovery 先前工作。

Learning to Discover Skills through Guidance

• 来源：同上。

One After Another: Learning Incremental Skills for a Changing World

• 来源：同上。

Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching

• 来源：同上。

Horizon Generalization in Reinforcement Learning

• arxiv：https://arxiv.org/abs/2501.02709
• website：https://horizon-generalization.github.io/
• 来源：Benjamin Eysenbach 的新作，是一篇 arxiv paper，同学说有趣。

HIQL: Offline Goal-Conditioned RL with Latent States as Actions

• arxiv：https://arxiv.org/abs/2307.11949
• website：https://seohong.me/projects/hiql/
• 来源：合作者推荐的文章，好像也是 Benjamin Eysenbach 发表的。

Contrastive Preference Learning: Learning from Human Feedback without RL

• arxiv：https://arxiv.org/abs/2310.13639
• GitHub：https://github.com/jhejna/cpl
• 来源：无意中搜到的文章，ICLR 2024，好像之前读过。
• 主要内容：

Few is More: Task-Efficient Skill-Discovery for Multi-Task Offline Multi-Agent Reinforcement Learning

• arxiv：https://arxiv.org/abs/2502.08985
• 来源：同学的最新工作。
• 主要内容：
  • 这篇文章关注的 setting 是 offline multi-task MARL；特别的，agent 只在（比如说）三个人合作的场景上训练，然后就可以泛化到任意多个人合作的场景。同学讲的故事是，用 transformer 作为一个翻译器，把三个人的合作动作翻译为多个人的，感觉这个故事听起来非常好。

Rethinking Reward Modeling in Preference-based Large Language Model Alignment

• arxiv：https://arxiv.org/abs/2411.04991
• OpenReview：https://openreview.net/forum?id=rfdblE10qm
• 来源：ICLR 2025 oral。
• 主要内容：
  • 这篇文章关注 LLM 的 RLHF。据说不采用 bradley-terry model 来建模 reward model，而是直接训一个分类器，学习一个 (x,y) 是好的还剩坏的，然后使用分类器的概率 logit 作为 RLHF 的 reward。
  • 是否使用了非成对的比较 \((x_1, y_1^+, x_2, y_2^-)\)，而非把成对比较 \((x, y^+, y^-)\) 打乱（？）
  • 实验是否过于 toy（？）理论大概说了什么（？）

DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback

• arxiv：https://arxiv.org/abs/2410.05527
• open review：https://openreview.net/forum?id=2iYVBqRHK4
• 来源：合作者推荐的文章。
• 主要内容：
  • preference-based index policy（？）
• whittle index，一个结论，两个等价条件，经典问题的证明方式。

Data Center Cooling System Optimization Using Offline Reinforcement Learning

• arxiv：https://arxiv.org/pdf/2501.15085
• 来源：xianyuan zhan 组的新文章。
• 主要内容：
  • T-symmetry。

SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking

• arxiv：https://arxiv.org/abs/2407.04752
• 来源：师兄推荐的神秘文章，ICLR 2025 poster。

Rethinking Inverse Reinforcement Learning: from Data Alignment to Task Alignment

• arxiv：https://arxiv.org/abs/2410.23680
• 来源：偶然看到的文章。

Why Distillation can Outperform Zero-RL: The Role of Flexible Reasoning

• arxiv：https://arxiv.org/abs/2505.21067
• 来源：偶然看到的文章。

Thinkless: LLM Learns When to Think

• arxiv：https://arxiv.org/abs/2505.13379
• 来源：偶然看到的文章。

Learning to Reason without External Rewards

• arxiv：https://arxiv.org/abs/2505.19590
• 来源：偶然看到的文章。