2021年12月23日
为什么BERT是无监督模型？
摘要： 确切来说BERT这种预训练模型属于自监督学习，将一句话屏蔽掉一分部分token，输入到模型中。然后让模型预测整句话，让模型学习数据集的上下文关系。 数据没有通过人工标记label，勉强可看成无监督式学习吧。 MLM可看作 加噪自编码 阅读全文
posted @ 2021-12-23 16:24 ArdenWang 阅读(472) 评论(0) 推荐(0)