loos之外的大模型观测参数和方法论

> 我用一台4GB显存的游戏显卡，测了13个开源模型的内部结构。发现了一个Loss永远不会告诉你的事实。

---

## 一个让我自己都愣住的数据

6月我在微调 Qwen 0.5B。LoRA，r=8，WikiText-2，500 步。微调前模型因果推理准确率 **80%**。

微调完成后——

**0%。**

不是降了一点。是清零了。

我回头看 Loss 曲线——教科书式的下坡。从 3.26 一路降到 2.97。一切看起来完美。

问题在哪？Loss 测的是"模型预测百科文本下一个字符有多准"。**我的下游任务是因果推理。WikiText-2 里没有因果推理。** 模型在拼命学"百科的字符序列应该长什么样"，同时把曾经学会的"事件应该按什么顺序发生"忘得一干二净。

Loss 很开心。模型废了。

这件事让我开始系统地研究一个问题：**训练过程中，Loss 到底漏掉了什么？**

---

## 一、我把训练的每一步都剖开看了

我用自己写的一套诊断工具 FPP（Fieldcell Processing Protocol），在 Pythia 160M 的完整训练过程中追踪了 18 个中间 checkpoint，每个点测 25 次。

测出来的不是一条直线：

| 阶段 | 步数区间 | GS (结构有序度) | MI (信息通道) | Loss (PPL) |
|:---|:---|:---|:---|:---|
| 初始 | 0 | 0.48 | 0.005 | 157 |
| **Build** | 0 → ~1K | **0.76 (+55%)** | **0.022 (+340%)** | 11 |
| **Collapse** | ~1K → 10K | 0.39 (-49%) | 0.004 (-82%) | 8.4 |
| **Rebuild** | 10K → 143K | 0.59 | 0.008 | 6.5 |

**前 1000 步是奇迹。** SGD 在主动构建模型内部的时间反演对称性。GS 飙升 55%，MI 暴涨 340%。Loss 从 157 降到 11——拿下了全程 94% 的总降幅。此时模型结构是全程最好的。

**然后结构开始崩塌。** 第 1000 到 10000 步之间，GS 腰斩，MI 跳水 82%——甚至比随机初始化还低。而 Loss 继续稳稳下降，像什么事都没发生一样。

**后面 133000 步全是在用结构换精度。** 最终模型 GS 比 Build 峰值低 29%，MI 只有峰值的 36%。是的，Loss 更低——但结构的代价是永久的。

**这对你做微调意味着什么：你的基座模型在预训练时已经有一个"结构最优"的 checkpoint。你不需要从最后那个 Loss 最低但结构已经塌了一截的版本开始。**

---

## 二、微调 500 步，每一步都告诉你一个故事

回到我自己的实验。Qwen 0.5B，LoRA 微调，WikiText-2，500 步。每 100 步测一次因果推理：

```
Step │ Train Loss │ Phase    │ 因果推理 │ 如果你停在这
─────┼────────────┼──────────┼──────────┼─────────────────
 100 │   3.26     │  0.404   │  20.0%   │ 已经开始崩了
 200 │   3.11     │  0.407   │  26.7%   │ 🟢 Phase 峰值
 300 │   3.08     │  0.404   │  40.0%   │ 🟢 最好
 400 │   2.97     │  0.405   │   6.7%   │ ❌ Loss 最低
 500 │   3.02     │  0.405   │   0.0%   │ ❌ Val PPL 最低
```

三种选点策略的结果：

| 你用什么选 | 选中的 checkpoint | 因果推理 |
|:---|:---|:---|
| Train Loss 最低 | Step 400 | **6.7%** |
| Val PPL 最低（标准早停） | Step 500 | **0.0%** |
| FPP Phase 峰值 | Step 200 | **26.7%** |

**Phase 峰值选出的权重，因果推理比 Loss 最低点高出 3 倍（相对提升 300%）。** 比 Val PPL 早停高出无限倍（因为 Val PPL 选出的模型推理能力为零）。

你多跑的那 250 步，不是在优化模型——是在把模型训废。

---

## 三、FPP 测的是什么？四个 Loss 看不见的维度

FPP 的原理不复杂：**正向跑一遍输入，反向（倒序）再跑一遍，从每一层收集隐藏态，计算两者之间的对称性和差异性。**

从正向/反向差异中提取四个独立的维度：

### GS（结构有序度）

```
GS = (1/L) · Σᵢ ρ(hᵢ, h̃(L-i))
```

第 i 层正向隐藏态和第 L-i 层反向隐藏态的 Pearson 相关性。**测的是模型内部计算有没有"时间箭头"。** GS 高 = 计算可逆，因果链条完整。GS 低 = 模型在处理序列时前后不一致。

我测到的：SwiGLU 家族内 GS 差 2.1 倍（0.43-0.89）。你是同一个架构——但你手里的模型可能比同家族最优模型结构差了一倍。

### MI（信息通道容量）

```
MI = (1/L) · Σᵢ I(hᵢ; hL)
```

各层输入-输出互信息的均值。**测的是信息从模型一端走到另一端保留了多少。**

我测到的：跨模型 MI 差 40 倍。TinyLlama 的 MI=0.77，是 Qwen 的 40 倍。**MI 是架构决定的——微调能影响它但改不了它的上限。** 选模型时 MI 先天的差距，是多少微调都补不回来的。

### Phase（层功能分化度）

```
Phase = σ({ρ(hᵢ, hⱼ)}ᵢⱼ)
```

24 层层间相关矩阵的标准差。**测的是这 24 层是否在做不同的事。**

这是我发现的唯一跨架构稳定的指标——13 个模型全部落在 0.06-0.47。Phase 高 = 层层分工。Phase 低 = 24 层在干同一件事。**Phase 峰值 = 最优 checkpoint。Phase 开始连续下降 = 立即停训。**

### DC（欺骗指数）

```
DC = |Pearson(h₀, hL) - MI(h₀, hL)|
```

Pearson 相关性告诉你的和互信息告诉你的，差距有多大。DC > 0.3 意味着"线性结构看起来还好"是个假象——非线性信息已经丢了。

TinyLlama 的 DC=0.66。对这个模型，GS 不可信。只看 GS 你会以为结构很好，MI 告诉你信息通道已经炸了。

---

## 四、我测了 13 个模型，完整基线都在这里

这是目前唯一一份覆盖 5 个家族、13 个模型、跨 4 个数量级参数规模（750 万到 140 亿）的模型内部结构数据库。全部在一台 GTX 1650 Ti（4GB）和一台无独显笔记本上完成。

| 模型 | 家族 | 注意力 | 规模 | GS | MI | Phase | β 安全 |
|:---|:---|:---|:---|:---|:---|:---|:---|
| Qwen 0.5B Base | SwiGLU | MHA | 0.5B | 0.81 | 0.13 | 0.42 | — |
| Qwen 0.5B Inst | SwiGLU | MHA | 0.5B | 0.81 | 0.09 | 0.41 | [0.05,0.20] |
| Qwen 1.5B Inst | SwiGLU | MHA | 1.5B | **0.89** | 0.10 | 0.32 | [0.05,0.20] |
| Qwen 7B Inst | SwiGLU | MHA | 7B | 0.81 | **0.06** | 0.40 | [0.01,0.50] |
| Qwen 14B Inst | SwiGLU | MHA | 14B | 0.89 | 0.08 | 0.29 | [0.01,0.20] |
| SmolLM2-360M | SwiGLU | GQA | 360M | 0.89 | 0.07 | 0.31 | [0.01,0.02] |
| SmolLM2-1.7B | SwiGLU | GQA | 1.7B | **0.43** | 0.22 | **0.47** | ☠️ 任何β崩塌 |
| TinyLlama 1.1B | SwiGLU | GQA | 1.1B | 0.80 | **0.77** | 0.39 | [0.01,0.02] |
| Gemma 3-1B | GeGLU | MHA | 1B | **0.28** | 0.10 | 0.31 | [0.001,0.02] |
| Gemma 2-9B | GeGLU | GQA | 9B | **0.91** | 0.05 | **0.06** | [0.01,0.05] |
| OPT 1.3B | ReLU | MHA | 1.3B | 0.60 | 0.14 | 0.21 | [0.01,0.20] |
| Pythia 160M | GELU | MHA | 0.16B | 0.46 | 0.20 | 0.35 | [0.01,0.02] |
| Custom-Momentum | SwiGLU | MHA | 0.008B | 0.24 | 0.30 | 0.18 | N/A |

### 从这张表里，我读出几个你在别处看不到的事实：

**1. Qwen 1.5B 是 GS 甜点，不是 7B。** 1.5B 的 GS=0.89 比 7B 的 0.81 高了将近 10%。参数多和结构好是两回事。

**2. SmolLM2-1.7B 是个雷。** 360M 的 GS=0.89，1.7B 的 GS=0.43——同一个团队同一个架构，升级到 1.7B 结构质量直接腰斩。而且它不能用任何动量注入（β 完全崩塌）。如果你的用户在 360M 上微调效果还行，升级到 1.7B 后翻车——不是微调的锅。

**3. Gemma 9B 是个矛盾体。** GS=0.91 是全表最高——结构对称性极好。但 Phase=0.06 是全表最低——42 层几乎在干同一件事。DC=0.69 极高——对它别信 GS，信 MI。MI=0.05——你猜怎么着，信息通道很窄。

**4. GS 和 MI 是两回事。** 全表相关性 r=-0.10——结构有序度和信息通道宽度不存在取舍关系。模型可以 GS 高 MI 低（Gemma 9B），也可以 GS 中等 MI 极高（TinyLlama）。

**5. Instruct 微调系统性降低 MI。** Qwen 0.5B Base→Instruct，MI 从 0.13 降到 0.09（-33%）。指令微调在"压窄"模型的信息通道。对大多数下游任务这也许无所谓，但对需要长程推理的任务——你在用一个信息通道先天不足的模型。

---

## 五、β 安全表：别让动量注入毁了你的模型

我在 8 个模型上扫了动量注入的安全性。同一剂量的动量，不同架构反应截然不同。β=0.2 时 Qwen GS +19%，Gemma 直接结构崩塌：

| 你的模型 | 安全 β | 预期 GS 提升 |
|:---|:---|:---|
| Qwen (SwiGLU+MHA) | [0.05, 0.20] | +19% |
| OPT (ReLU+MHA) | [0.01, 0.20] | +32% |
| TinyLlama/SmolLM2-360M (SwiGLU+GQA) | [0.01, 0.02] | 微量 |
| Gemma (GeGLU) | [0.001, 0.02] | 微量 |
| SmolLM2-1.7B (SwiGLU+GQA) | ☠️ **禁止** | 任何 β 崩塌 |
| Pythia (GELU+MHA) | [0.01, 0.02] | 保守 |

**这张表的每一条，背后都是一个模型在特定 β 下真真切切地崩过。** 你不需要再踩一遍我踩过的坑。

---

## 六、拿回去用：5 秒测你自己的模型

FPP 全部开源了。你不用重写任何东西。

### 命令行一键体检

```bash
git clone https://github.com/GIS-blackCaat/fpp-golden-window.git
cd fpp-golden-window
pip install -r requirements.txt
python fpp_health.py --model Qwen/Qwen2.5-0.5B-Instruct
```

输出长这样：

```
═══════════════════════════════════════════════════════════════════
  FPP V4  HEALTH CHECK
═══════════════════════════════════════════════════════════════════
  Model: Qwen/Qwen2.5-0.5B-Instruct

  ┌─ Architecture Fingerprint ─────────────────────────────────┐
  │ Layers:      24              │ Activation:  silu → SwiGLU  │
  │ Attention:   MHA             │ Family norm: [0.75, 0.92]   │
  └────────────────────────────────────────────────────────────┘

  ┌─ FPP Vital Signs ─────────────────────────────────────────┐
  │ GS (结构有序度):     0.812   ✅
  │ MI (信息通道):       0.087   ✅
  │ Phase (层功能分化):  0.410   ✅
  │ Deception (欺骗度):  0.091
  ├────────────────────────────────────────────────────────────┤
  │ STATUS: 🟢 HEALTHY
  └────────────────────────────────────────────────────────────┘

  Recommendations:
  ✅ Momentum injection SAFE: β ∈ [0.05, 0.20]
  ✅ FPP-guided fine-tuning available (Phase peak detection)
```

### Docker 一键复现（零配置，无需装 Python/PyTorch）

```bash
docker run -it ghcr.io/gis-blackcaat/fpp-golden-window:latest demo
```

### 嵌入你的微调脚本

```python
from example import run_fpp_single

# 微调循环中每 50 步跑一次
for step in range(0, total_steps, 50):
    train_one_epoch()
    fpp = run_fpp_single(model, tokenizer, layers, text, n=10)
    
    if fpp['phase'] > best_phase:
        best_phase = fpp['phase']
        torch.save(model.state_dict(), f'checkpoint_step{step}_phasepeak.pt')
        print(f"🟢 Phase峰值更新: step {step}, phase={best_phase:.4f}")
    elif fpp['phase'] < best_phase - 0.02:
        print(f"🔴 Phase连续下降，建议停训")
        break
```

---

## 七、坦诚说：这东西目前有什么局限


**1. 因果推理 benchmark 只有 15 道手工题。** 不是 MMLU，不是 BIG-Bench。Phase 峰值导航的 3 倍提升需要在大规模标准化基准上验证。我现在正在扩大 benchmark 到 500 题。

**2. 微调实验只有一个设置。** LoRA + WikiText-2 + Qwen 0.5B。全参数微调、QLoRA、代码数据集、对话数据集、指令数据集——Phase 的行为在这些设置下是否一致？我还不知道。

**3. 13 个模型不是终点。** Llama、Mistral、DeepSeek 都没测。Mamba、RWKV 这些非 Transformer 架构完全没碰。数据库需要扩大。

**4. 理论还没闭合。** 我知道 GS 和 MI 在 13 个模型上正交（r=-0.10），但我没有一个封闭形式的数学证明来解释"为什么正交"。三阶段 Build→Collapse→Rebuild 我观察到它在 Pythia、Qwen 和 FieldCell 上都成立——但"为什么恰好是三个阶段"的理论基础仍是开放的。

**5. 7B 以上的测量受到硬件限制。** Qwen 7B 和 Gemma 9B 的数据是在 30GB 内存笔记本上用 CPU FP16 跑的。Qwen 14B 甚至因为内存不足只跑了 n=3。大模型的数据精度需要更好的硬件来验证。

这些局限不是说 FPP 没用——是说**这个方向才刚开始，你可以在任何一条局限上做一个新的研究项目。**

---

## 八、你现在能做的三件事

**第一，微调前跑一次基线。** 知道你的基座模型 GS/MI/Phase 在不在家族正常范围。如果你的模型 GS 只有同家族最优的一半——你知道微调效果的上限在哪里。

**第二，微调中盯住 Phase。** 每 50 步一次。Phase 峰值 = 最优 checkpoint。比 Loss 最低点早 100-200 步，因果推理高出 3 倍。Phase 连续下降两次就停——之后每一步都在毁模型。

**第三，想加动量先查 β 表。** β=0.2 对 Qwen 是补药，对 Gemma 是毒药。不知道你的模型属于哪一类？`python fpp_health.py --model <你的模型>`，5 秒告诉你。

---

> 📄 **论文 PDF**：[huggingface.co/youyouYUE/golden-window](https://huggingface.co/youyouYUE/golden-window)  
> 💻 **开源工具 + 完整数据**：[github.com/GIS-blackCaat/fpp-golden-window](https://github.com/GIS-blackCaat/fpp-golden-window)  
> 🐳 **Docker 一键复现**：`docker run -it ghcr.io/gis-blackcaat/fpp-golden-window:latest demo`

---

*如果这篇文章让你重新思考"看 Loss 选模型"这件事，点个赞让更多做微调的工程师看到。评论区聊聊：你遇到过 Loss 降了但效果变差的情况吗？你是怎么发现的？*