会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
将者,智、信、仁、勇、严也。
Hi,我是李智华,华为-安全AI算法专家,欢迎来到安全攻防对抗的有趣世界。
博客园
首页
新随笔
联系
订阅
管理
2025年10月20日
通俗理解Lora微调
摘要: 假设模型某一层有个权重矩阵 W∈R^d×k 传统微调:更新 W (超多参数)LoRA 做两件事: 冻结 W(保持原样,不动) 只加一个低秩修正项 ΔW=AB,其中: A∈R^d×r B∈R^r×k r 很小(比如 4 或 8) 这样更新的参数总量只有原来的不到 1%,却能让模型在特定任务(比如粤语医
阅读全文
posted @ 2025-10-20 17:08 bonelee
阅读(11)
评论(0)
推荐(0)
公告