2021年4月11日
WordPiece、BPE
摘要： BERT在数据预处理时使用了WordPiece。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。 WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。 BPE的过程可以理解为把一个单词再拆分，使得我们的词表变得精简，并且 阅读全文
posted @ 2021-04-11 17:42 AliceYing 阅读(485) 评论(0) 推荐(0)