摘要: PEFT(Parameter-Efficient Fine-Tuning)是hugging face开源的一个参数高效微调大模型的工具,里面集成了4中微调大模型的方法,可以通过微调少量参数就达到接近微调全量参数的效果,使得在GPU资源不足的情况下也可以微调大模型。 1)LORA:LOW-RANK A 阅读全文
posted @ 2023-04-13 10:31 微笑sun 阅读(3565) 评论(0) 推荐(0) 编辑