摘要: 关于参数冻结: 在业界使用BERT模型做分类任务时,是否冻结预训练模型的参数取决于具体的应用场景和目标。下面是一些常见的考虑因素: 不冻结参数(全参数微调) 数据量较大:如果有足够多的标注数据,全参数微调可以充分利用这些数据来调整预训练模型的参数,以更好地适应特定任务。 任务特异性较强:对于与预训练 阅读全文
posted @ 2024-04-03 15:37 bonelee 阅读(69) 评论(0) 推荐(0) 编辑