MrDoghead

摘要： 前言 食用本文前，需要有对BERT模型基础知识的掌握，因为ERNIE就是在BERT的基础上做的提升与改进。如果你对BERT毫无了解，可以参考我之前的博文 "《大名鼎鼎的BERT模型》" 。废话不多说，让我们开始吧！ 介绍 BERT模型提出后，可谓是横扫了许多NLP数据榜单，大家也开始纷纷学习这个新型 阅读全文

摘要： 前言 前几天写了一篇关于BERT的博文，里面用到了Transformer的编码器，但是没有具体讲它的原理，所以在这篇文章里做一个补充。本文只阐述编码器encoder的部分，只做一个重点部分流程的概括，具体的最好还是看看原论文，然后关于解码器的部分之后有机会再讲。 encoder原理 我们主要根据下面 阅读全文