ChatGPT 官方 tokens 分割查询工具

GPT使用了一种 Byte Pair Encoding(BPE)的算法进行tokens分割，它将文本中最常见的字符或字符组合分割为独立的token。需要注意的是，BPE 算法不是完全基于字符的切分方法，而是根据字符的频率进行子词切分。它通过不断的合并出现频繁的字符或字符组合来构建词汇表。在这个过程中，字符可能会被合并成更大的单元，这样可以更好的表示复杂词汇和短语。
ChatGPT 官方提供的 tokens 分割查询工具 https://platform.openai.com/tokenizer

---

---