2023年12月1日
LLM 入门笔记-Tokenizer
摘要： 以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。 1. Normalization normalize 阅读全文
posted @ 2023-12-01 17:00 marsggbo 阅读(1288) 评论(0) 推荐(0)