会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
mantch
公告
日历
导航
博客园
首页
新随笔
新文章
联系
订阅
管理
2019年9月28日
BERT预训练模型的演进过程!(附代码)
摘要: 1. 什么是BERT BERT的全称是Bidirectional Encoder Representation from Transformers,是Google2018年提出的预训练模型,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上,即用了Masked LM和Next Sentence Prediction两...
阅读全文
posted @ 2019-09-28 21:58 mantch
阅读(7053)
评论(0)
推荐(1)
编辑
Copyright © 2024 mantch
Powered by .NET 8.0 on Kubernetes