2025年7月16日
SingLoRA：单矩阵架构减半参数量，让大模型微调更稳定高效
摘要： 随着深度学习模型规模的不断扩大，模型微调在保持性能的同时面临着计算成本和内存消耗的双重挑战。低秩适应（LoRA）技术通过引入低秩矩阵分解有效缓解了这一问题，但在实际应用中仍存在训练稳定性和参数效率方面的局限性。 SingLoRA作为一种创新的低秩适应方法，通过摒弃传统的双矩阵架构，采用单矩阵对称更新 阅读全文
posted @ 2025-07-16 15:57 deephub 阅读(12) 评论(0) 推荐(0)