Fork me on GitHub
2021年4月6日
bert的训练数据的简单构建
摘要： 一.简介 大家都知道原始bert预训练模型有两大任务： 1.masked lm：带mask的语言模型 2.next sentence prediction：是否为下一句话 bert模型的训练数据有三部分，如下图： 1.字的token embeddings 2.句子的embeddings 3.句子位置 阅读全文
posted @ 2021-04-06 15:19 石头木 阅读(1086) 评论(0) 推荐(0)