2023年7月15日
大语言模型中一个调皮的EOS token
摘要： 背景 最近需要做一个微调的培训，所以不可避免地需要上手一下相关的微调，而受限于机器资源，暂时没法做全参数微调，所以就尝试了目前比较火的两种高效微调方式，分别是PTuning和LoRA。模型选择得自然是现在中文做的比较好的ChatGLM2-6B。 微调的代码分别用的是 PTuning LoRA 在分别 阅读全文
posted @ 2023-07-15 15:15 boydfd 阅读(1009) 评论(0) 推荐(0) 编辑