清风紫雪

摘要： LoRA: Low-Rank Adaptation of Large Language Models 动机 大模型的参数量都在100B级别，由于算力的吃紧，在这个基础上进行所有参数的微调变得不可能。LoRA正是在这个背景下提出的解决方案。 原理 虽然模型的参数众多，但其实模型主要依赖低秩维度的内容( 阅读全文