2021年11月13日
Pytorch tokenizer使用及补充vocab词汇表
摘要： 我们现在需要对一句话做分词，然后转换成index，作为Bert的输入 tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME) text = '天空下着暴雨，o2正在给c1穿雨衣，他自己却只穿着单薄的军装，完全暴 阅读全文
posted @ 2021-11-13 00:33 Rogn 阅读(3913) 评论(0) 推荐(0) 编辑