大模型如何训练百万 Token 上下文：上下文并行与 Ring Attention

只用了几年时间，上下文窗口就从 4k 膨胀到 1000 万。Meta 发布的 Llama 4 Scout 的时候说这个模型支持 1000 万 Token，是 Llama 3 那 128k 的 78 倍。而Google Gemini 3 Pro 是 100 万，Claude 4 也桐乡市100万。

一次推理跑完整个代码库、几百篇论文、连续好几天的对话记录在技术上可行了，但问题是硬件跟不上。

405B 参数的模型，32 位精度下光权重就要 6.5TB 内存。再算上梯度、状态、激活值，后者还随上下文长度二次方增长。单台 NVIDIA HGX B300 配了 2.3TB HBM3e都不够。

这就逼着必须做多节点分布式训练和推理，几十上百块 NVIDIA Blackwell GPU 、NVLink 再加上 InfiniBand，就成了数据中心的标配。所以难点就变味了 GPU 之间的通信瓶颈。

https://avoid.overfit.cn/post/fd6022b9196942ffb737ba306925b6db