SingLoRA：单矩阵架构减半参数量，让大模型微调更稳定高效

随着深度学习模型规模的不断扩大，模型微调在保持性能的同时面临着计算成本和内存消耗的双重挑战。低秩适应（LoRA）技术通过引入低秩矩阵分解有效缓解了这一问题，但在实际应用中仍存在训练稳定性和参数效率方面的局限性。

SingLoRA作为一种创新的低秩适应方法，通过摒弃传统的双矩阵架构，采用单矩阵对称更新策略，在简化模型结构的同时显著提升了训练稳定性和参数效率。

🔍 SingLoRA技术原理

传统的LoRA方法通过在冻结的预训练权重中注入低秩矩阵乘积来实现权重更新：

1. W = W₀ + BA

其中B和A为可训练的低秩矩阵。这种双矩阵设计虽然减少了参数量，但矩阵间的尺度不匹配问题往往导致训练过程不稳定，需要精细的超参数调整。

SingLoRA通过引入对称矩阵更新机制，仅使用单一矩阵A进行权重更新：

1. W = W₀ + AAᵀ

这种对称更新策略从根本上消除了矩阵间尺度不匹配的问题，为训练过程提供了天然的稳定性保障。

 

https://avoid.overfit.cn/post/9634e946125f43e482bd254e659bb37b