什么是token

token就是按照模型的角度去理解的最优的切割内容的单位！

到底怎么切分

英文

“I love machine learning”，按字母算，是24个字符。但是 按照字母来 理解 内容，单个字母没有意义！
按token算，大概4到5个。
模型会理解为 I、love、machine、learn、ing
前面是单词，模型会把单独的单词做为一个内容来理解。
ing 是一个常用的后缀，在语义表达中是有特殊含义的。模型也是会单独理解。
这就是 模型会按照自己的理解 来 重构 人类语言！

中文

“因为有了太阳，才有了温暖的大地”，模型会对内容按照它的理解来切割，某些常用的词 如 因为、才有，也会封装成一个词！

所有的模型的token计算都不一样！

注意，无论中英文语句，模型都是根据自己的理解来切割的token的。模型，不一样，token的切割方式也不一样！
所以，各大厂商对于token的理解大多只是 含糊 说明，因为模型厂商其实也不知道模型到底怎么切割token的！
这取决于进行模型训练的语料库和模型的训练方式和逻辑。