2023年9月11日
GPT模型下Token、Embedding向量以及连续向量的理解
摘要： GPT模型中Tokens 是什么含义 在 GPT 模型中，"tokens" 是指输入文本被分割成的最小单元。在自然语言处理中，通常将文本分割成单词或子词作为模型的输入。 在 GPT 模型中，每个 token 承载着文本中的一个单位，可以是一个单词、一个标点符号、一个数字或者一个特殊的符号。模型会将这 阅读全文
posted @ 2023-09-11 15:23 wuhaoliu 阅读(99) 评论(0) 推荐(0)