息壤杯lora数学能力微调解析

比赛让做的:用qianwen3-8b这个现成的模型,对其用lora微调


比赛限制:微调框架用MindSpeed-LLM框架,数据集从魔乐社区下载

比赛给的初始环境:MindSpeed-LLM框架、qianwen3-8b模型、qianwen3-8b模型转LLM框架用到的格式的代码、特定格式的parquet数据集文件转LLM框架用到的格式的代码、用特定格式的qianwen3-8b模型和数据集进行lora训练的代码、LLM框架得到的模型转成推理端需要的格式的代码


要做的唯一一件事就是:从魔乐社区收集数学问题数据集,转成特定格式的parquet文件

posted @ 2025-07-09 20:51  zhuangzhongxu  阅读(40)  评论(0)    收藏  举报