摘要: 什么是word? 一种是因为其含义无法预测而必须被写进词典的word,另一种是组成phrase和sentence的基本元素之外的其他基本元素。真实情况远比这种分类复杂 meaning units or building blocks 一个句子中有多少word? 区分token和type,token是 阅读全文
posted @ 2023-01-26 00:18 rxh1999 阅读(73) 评论(0) 推荐(0)