什么是BERT

什么是BERT

参考资料：

https://zhuanlan.zhihu.com/p/98855346

https://zhuanlan.zhihu.com/p/51413773

https://www.jiqizhixin.com/articles/2019-11-05-2

https://zh.wikipedia.org/wiki/BERT

---

BERT（Bidirectional Encoder Representation from Transformers）

所以说，学习bert之前，首先得学习一下什么是transformer；

BERT 的五个关键词 Pre-training、Deep、Bidirectional、Transformer、Language Understanding 分别是什么意思？

BERT 框架是 Google AI 的一个新的语言表示模型，它使用预训练和微调来为各种任务创建最先进的模型

每个编码层和解码层都使用了注意力机制。

---

该模型有以下主要优点：

1）采用MLM对双向的Transformers进行预训练，以生成深层的双向语言表征。

2）预训练后，只需要添加一个额外的输出层进行fine-tune，就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。

那BERT是如何实现的呢？

---

BerT就是Transformer 的升级版本，

基于Transformer的双向编码器表示。

BERT已经成为NLP实验中无处不在的基线baseline；

这个model也就是，两三年之内的技术

---

对于CV任务来说，不是很适用，因为CV任务对时序的考虑比较少。