寒假第十二天

模型微调

• 任务：开始微调大模型。

• 进展：使用Hugging Face的Transformers库加载Qwen2-Math模型，并在准备好的数据集上进行微调。由于计算资源有限，我们使用了Google Colab的免费GPU资源。

• 问题：训练时间较长。

• 解决方案：调整学习率和批量大小，优化训练效率。