2022年4月
如何用BERT的输出做分类？
摘要： 第一次使用BERT时，发现如果我的输入是[1,512]的形状的 (512个token的index)，那么输入就会是[1,512,768],这个时候就麻了，为啥会有512个768呀，虽然说我有512个输入，但是为啥BERT要输出512个768呢，原因目前还不清楚，不过现在知道了第一个768（outpu 阅读全文
posted @ 2022-04-19 18:17 Hisi 阅读(456) 评论(0) 推荐(0)
BERT的输入中，[CLS]和[SEP]应该被放在哪？
摘要： Token embeddings: A [CLS] token is added to the input word tokens at the beginning of the first sentence and a [SEP] token is inserted at the end of e 阅读全文
posted @ 2022-04-19 17:45 Hisi 阅读(989) 评论(0) 推荐(0)
什么是context free model 和 context based model
摘要： 最近在学习英语的时候，刚好发现了这个新知识，立马记下来哈哈哈哈。 Pre-trained language representations can either be context-free or context-based. Context-based representations can t 阅读全文
posted @ 2022-04-19 17:31 Hisi 阅读(166) 评论(0) 推荐(0)
BERT的双向编码与BiLSTM的编码的不同之处
摘要： 感觉会有用，先记录下来，如果大家看了有帮助，深感荣幸，若不幸点开了，万分抱歉。 Instead of predicting the next word in a sequence, BERT makes use of a novel technique called Masked LM (MLM): 阅读全文
posted @ 2022-04-19 17:21 Hisi 阅读(259) 评论(0) 推荐(0)