小小耀

摘要： 讲大模型时，参数规模很容易成为主角，训练数据反而像一项不起眼的准备工作。读到这一章我才更明确：模型能接触到哪些语言、知识、风格和偏差，首先由语料决定。数据不是训练前的杂务，它本身就是模型行为的一部分。 数据清洗远不止删掉脏话 一个常见流程包括来源登记、格式解析、语言识别、质量过滤、近重复检测、隐私处 阅读全文

摘要： 看到不同模型的架构表时，大家通常先问“哪个更强”。但我读这一节时更强烈的感觉是：架构其实是一组工程取舍，表达能力、训练稳定性、推理速度、显存和长上下文，很难同时做到极致。 先看解码器模型的骨架 自回归语言模型通常堆叠多层 Transformer 解码器。每层用因果自注意力读取已出现的 token，再 阅读全文

摘要： 看着 GPT 一口气写出一大段话，很容易以为它先在脑中拟好了完整答案。实际上，它通常是在已有上下文上预测下一个 Token，选出来以后追加到上下文，再继续预测下一个。 上下文 -> 预测下一个 Token -> 追加 Token -> 新上下文 -> 再预测 预训练把大量文本转成 token 序列， 阅读全文

摘要： 第一次认真看 Transformer 的公式时，我也被 Q、K、V 和几层矩阵乘法卡住过。后来换一个角度就顺了：序列中的每个位置都在问，“为了更新自己的表示，我应该从其他位置读取多少信息？”注意力权重，本质上就是一张动态的信息路由图。 先别急着背公式 Query：当前位置想找什么信息。 Key：每个 阅读全文

摘要： 以前下载一个开源模型，我很容易产生一种错觉：权重文件拿到手，模型就算“拥有”了。读完这一章才更清楚，权重只是整条链路中间的一个产物。原始语料怎么来、怎样清洗，训练怎么跑，模型怎样被服务化，最后又怎样评估，缺一环都很难称为一个可用的系统。 权重文件只是中途的一站 原始语料 -> 清洗/去重/过滤 -> 阅读全文

摘要： 读这本书之前，我对“大模型”这个词的理解其实有点偏应用：Prompt、RAG、Agent、工具调用，哪个项目里用到哪个就去补哪个。翻到目录以后才发现，这本书讲的是另一条路线：从 Transformer 和 GPT 的底层结构开始，一路讲到数据、分布式训练、微调、强化学习，最后才落到应用和评估。 这个 阅读全文

摘要： 学完整套 Agent 技术后，三个综合项目很适合用来检验理解：编程助手操作代码，数据 Agent 操作结构化数据，多模态 Agent 还要处理图像、语音和界面。它们表面不同，底层却共享同一套工程骨架。 编程助手：修改必须可验证 核心链路是仓库探索、定位代码、最小修改、测试和差异审查。代码执行需要沙箱 阅读全文

摘要： 本地运行一个 Agent 只需要 API Key 和脚本，生产系统却要面对并发、长任务、流式响应、模型限流、状态恢复、成本和故障排查。部署不是把 Notebook 包进容器就结束。 在线请求和长任务分开 短问答可以由 API 服务同步或流式返回；研究、批量处理和复杂工具链应进入任务队列，由 Work 阅读全文

摘要： 普通聊天模型答错可能只是体验问题，能读文件、发邮件、执行代码的 Agent 答错就可能变成真实损失。安全不能依赖一句“请勿执行危险操作”，而要贯穿输入、模型、工具和运行环境。 Prompt 注入利用了数据与指令混在一起 网页、邮件和文档中可能包含诱导模型忽略规则的文字。外部内容必须标记为不可信数据， 阅读全文

摘要： 评价聊天回答可以看正确性和表达，评价 Agent 还要看它是否选对工具、走了多少步骤、有没有恢复失败、成本是否合理，以及副作用是否受控。只看最终文本，会错过大部分真实问题。 把结果指标和过程指标分开 结果指标包括任务成功率、事实正确性和用户接受度；过程指标包括工具选择、参数正确率、步骤数、延迟、to 阅读全文