chirp

摘要： 总览 为了让语言变为模型能够理解的形式（tokens），每个字词必须映射为独一无二的序号，这时需要使用分词器 tokenizer 对语言进行转换。例如对于 “are you ok”，gemma 模型的 tokenizer 会将之转换为一个 List：[2, 895, 692, 4634]。 顺便一提 阅读全文