2025年1月9日
前端大模型入门（三）：编码(Tokenizer)和嵌入(Embedding)解析 - llm的输入
摘要： 备份阿里云文章：https://developer.aliyun.com/article/1628074#:~:text=简介： 本文介绍了大规模语言模型（LLM）中的两个核心概念：Tokenizer和Embedding。,Tokenizer将文本转换为模型可处理的数字ID，而Embedding则将 阅读全文
posted @ 2025-01-09 21:42 seekwhale13 阅读(1549) 评论(0) 推荐(0)