2025年7月29日
使用 DeepSpeed ZeRO、LoRA 和 Flash Attention 微调 Falcon 180B
摘要： Falcon 180B是Falcon LLM家族的最新版本。它是最大的开源模型，拥有180B参数，并在更多的数据上进行训练 - 3.5T个令牌，上下文长度窗口最多为4K个令牌。在这个示例中，我们将展示如何在多GPU机器上使用DeepSpeed、Hugging Face Transformers、Lo 阅读全文
posted @ 2025-07-29 11:13 有何m不可 阅读(77) 评论(0) 推荐(0)