2025年2月23日
SmolLM2：多阶段训练策略优化和高质量数据集，小型语言模型同样可以实现卓越的性能表现
摘要： SmolLM2 采用创新的四阶段训练策略，在仅使用 1.7B 参数的情况下，成功挑战了大型语言模型的性能边界： 在 MMLU-Pro 等测试中超越 Qwen2.5-1.5B 近 6 个百分点 数学推理能力（GSM8K、MATH）优于 Llama3.2-1B 在代码生成和文本重写任务中展现出色表现 支 阅读全文
posted @ 2025-02-23 10:38 deephub 阅读(59) 评论(0) 推荐(0)