11.15

“在预训练阶段，我们使用了 14.8 万亿高质量、多样化的文本对 DeepSeek-V3 进行了训练……随后，分两阶段对其上下文长度进行了扩展。”DeepSeek 在技术论文中提到，“第一阶段将上下文长度扩展到 32K，第二阶段进一步扩展到 128K。在此基础上，我们对 DeepSeek-V3 进行了后期训练，包括监督微调（SFT）和基于强化学习（RL）的训练，使模型更加符合人类偏好并释放潜力。在后期训练中，我们引入了 DeepSeekR1 系列模型的推理能力，同时精心平衡了模型的准确性和生成长度。”