2023年5月29日
如何使用 Megatron-LM 训练语言模型
摘要： 在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 [Accelerate](https://huggingface.co/docs/accelerate/index) 的创建 阅读全文
posted @ 2023-05-29 20:42 HuggingFace 阅读(2958) 评论(0) 推荐(0)