摘要: 假设模型某一层有个权重矩阵 W∈R^d×k 传统微调:更新 W (超多参数)LoRA 做两件事: 冻结 W(保持原样,不动) 只加一个低秩修正项 ΔW=AB,其中: A∈R^d×r B∈R^r×k r 很小(比如 4 或 8) 这样更新的参数总量只有原来的不到 1%,却能让模型在特定任务(比如粤语医 阅读全文
posted @ 2025-10-20 17:08 bonelee 阅读(11) 评论(0) 推荐(0)