Fork me on GitHub
摘要: Part1前言 随着大语言模型的流行,如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能,正好hugging face开源了一个PEFT库,让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析(二分类)去了解下参数有效微调。 使用的方 阅读全文
posted @ 2023-04-20 19:10 西西嘛呦 阅读(809) 评论(0) 推荐(0) 编辑
摘要: 又一个针对LoRA的改进方法: DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation https://arxiv.org/pdf/2210.07558 阅读全文
posted @ 2023-04-20 15:46 西西嘛呦 阅读(333) 评论(0) 推荐(0) 编辑