2025年7月1日
Lora微调
摘要： Lora微调 LoRA原理 LoRA，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所得的增量参数，从而达到使用更少显存占用的高效微调。 LoRA的核心思想是，在冻结预训练模型权重后，将可训练的低秩分解矩阵注入到Transformer架构 阅读全文
posted @ 2025-07-01 22:05 小舟渡河 阅读(100) 评论(0) 推荐(0)