摘要：2. Byte Pair Encoding原理 在NLP模型中，输入通常是一个句子，例如 "I went to New York last week." ，一句话中包含很多单词（token）。传统的做法是将这些单词以空格进行分隔，例如['i', 'went', 'to', 'New', 'York' 阅读全文