2025年7月1日
我之前听到过人家说 冻结一个大的预训练模型某些层 ,进行某些层训练就是lora微调的意思对么？
摘要： 不完全对！​​冻结部分层​​和​​LoRA微调​​是两种不同的方法，虽然它们都是为了减少计算量和显存占用，但实现原理和效果差别很大。用大白话给你讲清楚区别： ​​1. 冻结部分层（Layer Freezing）​​ ​​做法​​：比如有一个12层的BERT，你​​冻住前10层​​（不让它们的参数更新 阅读全文
posted @ 2025-07-01 15:57 m516606428 阅读(188) 评论(0) 推荐(0)