养肥胖虎

摘要： 完整学习LLM(三):为什么大模型是在预测下一个Token 好家伙, 上一篇我们聊了一个最基础的问题: 大模型到底是什么? 当时我给了一个比较朴素的理解: 普通程序按规则执行. 大模型按上下文生成. 但这里还有一个问题没有展开: 大模型到底是怎么生成的? 它为什么能从一个问题开始,慢慢写出一整段回答 阅读全文

摘要： 完整学习LLM(四):Token是什么 好家伙, 上一篇我们聊了: 为什么大模型是在预测下一个 token. 当时一直在说 token. 但其实还有一个问题没有拆: Token 到底是什么? 这个词在大模型里出现得太频繁了. 比如: 上下文窗口是多少 token 输入 token 怎么计费 输出 t 阅读全文