mercurystraw

摘要： LoRA精读笔记 背景 随着我们预训练更大规模的模型，完全微调（即重新训练所有模型参数）变得越来越不可行。 ==>提出了提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并在Transformer架构的每一层中注入可训练的秩分解矩阵，从而大大减少了下 阅读全文