大模型 Scaling Law 学习笔记：从"是什么"到"为什么"

这篇笔记记录了我对 Scaling Law 从概念到理解的完整梳理过程，重点解决了"N、D、C 三者到底是什么关系"这个容易卡住的核心问题。

---

一、Scaling Law 是什么

Scaling Law（缩放定律）描述的是：大模型的性能（用测试Loss衡量）与三个关键变量之间存在可预测的幂律关系（Power Law）：

• N：模型参数量
• D：训练数据量（token总数）
• C：训练总计算量（FLOPs）

核心结论：持续增加这些资源，Loss会按照一条可预测的曲线持续下降，且这个规律在跨越多个数量级后依然成立。这也是"大力出奇迹"背后的理论支撑——不是玄学，是有实验拟合出来的规律。

公式形式（以参数量为例）：

\[L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha_N} \]

在 log-log坐标图上，这条关系表现为一条近似直线，说明规律非常稳定。

---

二、最关键的应用：计算最优分配（Compute-Optimal）

Scaling Law 真正的工程价值，在于回答一个问题：

给定固定的计算预算，应该把资源分配给"更大的模型"还是"更多的数据"？

OpenAI（2020）的观点

认为模型规模比数据量更重要，应优先增大模型 → 后来被证明存在问题，模型偏"欠训练"。

DeepMind Chinchilla（2022）的修正

• 提出参数量和数据量应该按大致相同的比例同步增长
• 用同样计算预算，训练出的 Chinchilla（70B参数）反超参数量更大但数据不足的Gopher（280B）
• 这直接改变了后续行业的训练策略：堆参数量不是唯一路径

---

三、计算量公式详解：C ≈ 6ND

"6"是怎么来的

• 前向传播：处理1个token ≈ 2N FLOPs（每个参数贡献乘法+加法）
• 反向传播：约为前向的2倍 ≈ 4N FLOPs
• 加总：2N + 4N = 6N FLOPs/token
• 乘以总token数D：C = 6ND

验证：用GPT-3代入检验

N=175B，D≈300B tokens：

\[C = 6 \times 175\times10^9 \times 300\times10^9 ≈ 3.15\times10^{23} \text{ FLOPs} \]

与公开报道基本吻合。

需要注意的边界条件

• 这个公式只算训练，推理阶段每token约为 2N（没有反向传播）
• 只适用于稠密模型（Dense Model），MoE架构要用激活参数量代入，不能用总参数量
• 忽略了Attention中与序列长度平方相关的项，长文本训练场景下这部分不能忽略

---

四、卡住的地方①：计算量C不就是参数量N吗？

误区：既然 C=6ND，感觉C只是被N和D"线性放大"了一下，是不是本质上还是同一个东西？

关键澄清：C 是 N 和 D 的乘积，是两个独立维度组合出来的资源总量，不能简化等同于其中任何一个。

用一个例子看清楚

方案	参数量 N	数据量 D	C = 6ND
A：大模型+少数据	1000亿	100亿 token	相同
B：中模型+中数据	100亿	1000亿 token	相同
C：小模型+海量数据	10亿	1万亿 token	相同

三个方案C完全相同，N却差100倍——这说明C是"预算总量"，N只是这个预算的其中一个分配方向，D是另一个。

一句话类比

C 相当于"总花费"，N 和 D 是"买什么"。预算固定的情况下，买的东西越贵（N越大），必然买得越少（D越小），这是此消彼长的权衡关系，而不是同一个概念的两种叫法。

Chinchilla论文的核心发现：正因为C是N、D的联合乘积，才存在"同样的C，换一种N/D配比，能得到更低Loss"这个可优化空间——如果C=N，这个发现根本不会存在。

---

五、卡住的地方②：Loss只由N和D决定，为什么还要扯上C？

这个问题问到了方法论的核心。

答案：L(N,D) 是"底层真相"，L(C) 是从这个真相里提炼出来的"决策工具"，两者不矛盾，是同一件事的两种表达。

L(C) 的数学本质

L(C) 不是独立发现的新规律，而是在固定C的约束下，找到让Loss最小的那个(N,D)组合：

\[L(C) = \min_{N,D \,:\, 6ND=C} L(N, D) \]

为什么不直接用L(N,D)，还要提炼出L(C)？

核心原因：现实中你能直接控制的是C，不是N和D。

现实场景是——"我有1000张卡，能用30天"，这直接对应的是计算预算C，而不是"N该设多大、D该用多少"。L(C)存在的意义，就是把这个实际约束转化为具体的行动指南。

L(C) 真正的价值：预测和外推

• 超大模型训练前的决策依据：像GPT-4级别的训练不可能先试错再决定，必须靠小规模实验拟合出L(C)曲线，外推预测大规模投入的效果，判断是否值得投入
• 横向比较不同方案的效率：只有换算到同一个C下比较，才能公平判断谁的方法"计算效率更高"

---

六、核心结论（最有用的一句话）

L(N,D) 告诉你"规律是什么"，L(C) 告诉你"钱该怎么花"。

前者是物理规律层面的描述（性能由参数量和数据量决定），后者是资源规划层面的工具（在有限预算下，指导该怎么分配N和D才能让这个规律给出最好结果）。两者是同一套研究的一体两面，不是互相替代的关系。

---

七、延伸认知（简记）

• 涌现能力（Emergent Abilities）：某些能力跨过规模阈值后突然出现，与Loss平滑下降不完全同步，学界仍有争议
• 数据质量影响曲线斜率：同样规模下，数据质量差异会显著改变Loss下降速度，这也是行业重心从"堆参数"转向"数据工程"的原因
• Inference-time Scaling：类似o1的思路，在推理阶段通过更长思考链换取效果提升，是对传统（训练阶段）Scaling Law的延伸补充

---

笔记记录时间：与AI讨论梳理，核心目的是理清 N、D、C 三者关系，尤其是"C为什么不等于N"以及"为什么需要L(C)这个视角"两个容易卡住的点。