2025年6月10日
transformer
摘要： Tokenization Transformer模型中最基础的一步，它包含一个巨大的tokens的数据集，包含所有词、标点符号等，这一步将每个词、前缀、后缀和标点符号转换为数据集中的已知token，例如”write a paper.”转换为四个相应的tokens是、、、<.>。 Embedding 阅读全文
posted @ 2025-06-10 19:04 Jenny43473 阅读(53) 评论(0) 推荐(0)