[news] Self-Harness to AGI

这篇的意义在于：

当你了解以下内容，再看近期以及未来的新闻，可能三钩玉就变成万花筒了~

 

 

Background

---

很早以前：Continual Learning / Meta-Learning

这并不新。甚至 Ilya 自己 2017 年就参与过 continuous adaptation / meta-learning 的研究，研究模型如何在非平稳环境里利用少量经验快速适应。。

2023–2024：Test-Time Adaptation / Test-Time Training 开始进入 LLM。

【TTT】

Pretraining
↓
Inference
↓
看到新数据
↓
更新部分 weights
↓
继续 inference

2025：一个非常关键的变化——Fast Weights

 

发展轨迹踪迹~

                Continual Learning
                       │
        ┌──────────────┼──────────────┐
        ↓              ↓              ↓
 Meta Learning       TTT          Online Learning
        │              │
        │         Fast Weights
        │              │
        └───────┬──────┘
                ↓
       Test-Time Self Improvement
                │
                ↓
        Continuous Learning AI
                │
         ┌──────┴──────┐
         ↓             ↓
    学术界公开研究      SSI
   ByteDance / 大学     Ilya
   等很多团队           ???
                         │
                         ↓
                  技术暂未公开

 

 

 

2026年的趋势

---

今天研究者已经开始意识到：“Self-improvement ≠ 一定要 fine-tune 模型。” 可以改动 memory, skills, prompt等等一切可以提高模型最终效果的“变量”。

Self Evolution
      │
 ┌────┼─────┬────────┐
 ↓    ↓     ↓        ↓
weights memory skills harness

 并且还要知道改哪个会性价比最高。

                    Self-Evolving Agent
                            │
           ┌────────────────┼────────────────┐
           │                │                │
           ↓                ↓                ↓
       Model Evolution   Harness Evolution  Memory/Skill Evolution
           │                │                │
      fine-tuning       prompt/tools        experience
      online RL         workflow            skill library
      fast weights      verifier            memory
           │                │                │
           └────────────────┼────────────────┘
                            ↓
                   Evolution Controller
                            ↓
               决定什么时候、改什么
                            ↓
                   Streaming Tasks
                            ↓
                  长期持续学习

 

技术	我给的位置
Fast weights	Level 1–2
Test-time fine-tuning	Level 2
Self-Improving LLM Agents at Test-Time	Level 3
EvoTest / continual test-time evolution	Level 3.5–4
Self-Harness / skill evolution	Level 4
weights + harness + memory 联合自主进化	Level 4–5，当前 frontier
像人一样长期自主学习、稳定越来越强	还没解决

 

Therefore，大约已经摸到 Level 4.5，但只是早期论文原型。

 

 

 

Ilya当初看到了什么

---

Ilya 在 2024 年离开 OpenAI 后创办 SSI，同年 9 月就对 Reuters 说，他发现了“一座与此前工作不同的山”，所以新公司才有意义。这个措辞很强，说明他并不是简单想“再训练一个更大的 GPT”。

而到 2025 年，他把自己的判断说得更清楚了：过去几年是 age of scaling，现在应该重新进入 age of research；他特别强调现有模型的 generalization 很差——人类能从少量经验快速学习，模型却需要巨量数据和训练。

2018
GPT-1
│
│ 预训练 + 微调
│ “先把知识学进 weights”
↓
2019
GPT-2
│
│ Scaling 开始显示威力
↓
2020
GPT-3
│
│ Few-shot / In-context learning
│ 不改 weights，仅靠 prompt 临时适应
↓
2022
InstructGPT / ChatGPT
│
│ RLHF / instruction following
│ 模型更会“使用自己的能力”
↓
2023
GPT-4 / 大模型 Scaling 高峰
│
│ 更大模型 + 更大数据 + 更多算力
│
├──────────────────────────
│ 这里开始出现问题：
│ “继续扩大规模到底还能带来多少？”
↓
2024
研究方向开始分叉
│
├─ Reasoning / Test-time compute
│
├─ Agent / Tool use / Harness
│
└─ Continual / Test-time learning
        ↓
2025
Level 1–3 快速发展
Fast weights
Test-time fine-tuning
Self-improving agents
        ↓
2026
Level 3.5–4.5
Continual Agent
Self-Harness
Harness evolution
Weights + Harness co-evolution
        ↓
未来
Level 5
Open-ended continual self-learning

 

所以，2025年，是重要的一年！进展很快！

2018–2023
                GPT Scaling Era
                      │
                      │
              Level 0 做到极致
                      │
                      ▼
2024              Ilya ?
              “这不是终局”
                      │
              找到另一座 mountain
                      │
                      ▼
2025          Learning Era 爆发
              Level 1 → 2 → 3
                      │
                      ▼
2026          System Learning
              3.5 → 4 → 4.5
                      │
                      ▼
未来                 Level 5
          Open-ended Continual Learning
          真正长期自主成长的 AI

 

 

 

Jeff Dean看到了什么

---

Jeff Dean 这边很明确：2026 年 8 月 5 日左右公开离开 Google，并和 Sanjay Ghemawat、Quoc Le、Oriol Vinyals 一起创办 Discovery Loop，目标是用 AI 自动化并加速科学与工程发现。

Jeff 无需考虑“自动化”提高的问题，因为这是目前可以靠堆积人力得以解决，对于大厂高管，这貌似已不具备吸引力，更何况已经有Ilya和David Silver占了坑位。

 

 

 

通往AGI的最后一公里

---

两拨人，两个方向，正在构建一个加速循环。

Two signals from the past month caught my attention:

Ilya Sutskever seems focused on how AI can grow into a PhD-level researcher. Jeff Dean seems focused on how PhD-level AI can accelerate scientific discovery.

Put the two together, and an interesting positive feedback loop emerges:

Better AI researchers → new discoveries → new knowledge → even better AI researchers → deeper discoveries.

Perhaps this is how we eventually grow an “Einstein-level AI.”

 

 

Good Luck!