摘要: 一、LoRA技术简介 LoRA(Low-Rank Adaptation)是一种高效的大模型微调技术,通过低秩矩阵分解实现参数高效更新。相比全参数微调,LoRA具有以下优势: ·仅训练新增的低秩矩阵,减少70-90%训练参数 ·保持基础模型权重不变,便于切换不同任务适配器 ·训练速度更快,显存占用更低 阅读全文