tsyhahaha

摘要： # LoRA：Low-Rank Adaptation Of Language Model ## O、摘要 本文提出一种新的大模型（本文主要指 transformer）微调方法：低秩自适应。其主要特性为，冻结预训练模型的权重，并将可训练低秩矩阵，分解到模型的每一层，从而大大减少下游任务的训练参数量。与 阅读全文