2022年4月19日
Transformer中的Tokenizer分词器使用学习
摘要： 1.加载 tokenizer是进行语言处理的基础，transformer实现分词器的基类是 tokenizer = AutoTokenizer.from_pretrained(tokenizer_type） 后面可以通过from_pretrained函数中的retrained_model_name_ 阅读全文
posted @ 2022-04-19 16:15 梦想是能睡八小时的猪 阅读(5169) 评论(0) 推荐(0)