奇摩技术说:大模型时代的工作流新范式 一、范式转移:从"会用什么工具"到"能用AI做什么" 大语言模型的技术迭代正在重塑企业工作流的底层逻辑。过去,招聘时总会问"你熟悉哪些工具",而如今更值得关注的是如何让AI参与到每一个工作环节中。这不仅是效率问题,更是一种全新的生产力组织方式。 传统工作流:人→ ...
第一次写聊天程序时,代码很容易给人一种“已经完成了”的错觉:传入一句话,模型返回一段话,终端里也确实打印出了答案。 但只要继续加两个需求,比如“回答必须保持固定格式”和“把每次调用记录下来”,原来那几行代码就会迅速膨胀。第 2 章从第一个聊天机器人讲起,我觉得它真正想建立的不是某个 API 的记忆, ...
WorkBuddy:企业级AI编程的落地实践 AI编程工具从个人使用到企业级部署,中间隔着相当大的鸿沟。WorkBuddy 的特殊之处在于,它从一开始就以企业场景为设计出发点,因此在实际落地过程中展现出了显著的优势。 企业级部署的核心挑战 大型企业在引入AI编程工具时,通常会面临几个核心问题:数据安 ...
刚接触 LangChain 时,我有过一个很直接的疑问:调用大模型不就是发一次 HTTP 请求吗,为什么还需要专门学一个框架? 把 Demo 写到几十行以后,答案就慢慢出现了。提示词要维护,聊天记录要裁剪,模型输出要校验,私有文档要检索,工具调用要鉴权,线上问题还得能追踪。麻烦的从来不是“把请求发出 ...
LLMA-Mem 目前挂在 Arxiv 26.04 上,探讨了 LLM 多智能体系统中 "横向扩展团队规模" 与 "纵向积累时间经验" 两种扩展维度之间的交互关系,提出通过记忆设计实现更高效的终身学习 背景 LLM 多智能体系统(Multi-Agent Systems, MAS)可以通过两个不同维度 ...
写到第 12 篇时,我更愿意把 Happy-LLM 看成一条从概念到工程的学习路线,而不是一本按章节读完就结束的教程。它的主线很清楚:先补 NLP 和 Transformer,再看预训练模型如何发展到 LLM,随后进入动手搭建、训练、对齐,最后落到生成、RAG、Agent 和具体应用。这个顺序的好处 ...
补充章节读下来,我最大的感受是:LLM 工程并不是只围着“更大的模型”转。真正落地时,常见问题反而是数据能不能出内网、成本能不能压住、延迟能不能接受、上下文格式是否稳定。大模型给了能力上限,但业务常需要可控、便宜、可部署的边界。 这几篇 Extra-Chapter 把几个主题串了起来:小模型微调、v ...
学到第七章后,我对“大模型应用”的理解开始从单次问答转向系统工程。RAG 解决的是知识如何进入上下文,而评测和 Agent 关注的是另外两个问题:模型到底能不能被信任,以及模型怎样从“会回答”变成“会做事”。 这两个主题放在一起很自然。没有评测,Agent 的每一步都像黑箱;没有 Agent,评测也 ...
第七章开始进入大模型应用,RAG 是其中最容易被低估的一块。很多教程会把它讲成"文档切块、向量化、相似度检索、塞进 prompt",流程看起来很顺,但真正落到工程里,问题往往不在能不能跑通,而在检索到的知识是否完整、是否相关、是否能被模型稳定使用。 Happy-LLM 的 Tiny-RAG 实现很适 ...
康奈尔笔记AIGC康奈尔笔记法康奈尔笔记法(Cornell Note System)是由美国康奈尔大学教育学教授沃尔特·鲍克(Walter Pauk)在20世纪50年代发明的一种高效笔记系统。它的核心理念不仅仅是“记录”,而是通过特定的版面设计,强制你在记笔记的过程中完成记录、思考、提炼和复习的完整 ...
前面几篇都在讲模型怎么训练出来,这一篇换一个角度:模型推理时每一步只输出一个 token,那"选哪个 token"这件事,其实才是用户直接感受到的产品行为。Happy-LLM 的额外章节把生成方式单独拎出来讲,读完后我最大的感受是:解码策略不是锦上添花的小参数,而是模型能力和使用体验之间的最后一层接 ...
上一篇文章采用langchain_community包协助LangChain实现了对话记忆功能,但langchain_community属于早期链式架构的临时补丁,仅适配简单线性对话。 LangChain官方推荐使用LangGraph实现复杂的会话记忆功能,LangGraph是从底层统一管理全流程 ...
第五章是手写一个小 LLM,第六章的重点则变成:真正做训练时,为什么大家通常不会一直停留在手写训练循环里。答案很现实,模型结构、数据处理、分布式训练、checkpoint 恢复、日志监控和参数高效微调,每一项单独看都不难,合在一起却很容易把实验搞乱。 这一章给我的最大启发是:训练流程不是“模型 fo ...
模型本身是无状态的,也就是不具备记忆功能,单次对话无法留存上下文信息,多轮交互中会遗忘历史对话内容。用户之所以感觉AI工具拥有记忆,是因为AI工具给大模型封装了一层记忆。 LangChain作为主流的大模型应用开发框架,内置完善的记忆模块(Memory模块),能够高效管理对话历史记录,让AI实现逻 ...
中文内容创作者,必装的 10 个 Skill在 AI 辅助创作的时代,工具的选择决定了内容的上限。与其让 AI 泛泛而谈,不如用专业的 Skill 把它变成你的专属编辑、设计师和研究员。以下为你精选了 10 个能显著提升中文内容创作效率与质量的 Skill,覆盖了从选题、写作、润色到视觉包装的全流程 ...
这一章最有价值的地方,不是把一个完整的大模型“抄出来”,而是把一个小 LLM 从骨架、入口和训练三层拆开看。以前我总会先盯参数量和显卡,后来才发现,真正决定能不能跑通的,往往是模块之间的接口是否统一。 先把模型骨架搭对 k_model.py 里最先出现的是 ModelConfig。这件事看起来平常, ...
【技术干货】低成本代码生成新范式:多模型协作能否媲美Claude Fable 5?在AI代码生成领域,高昂的模型费用与性能瓶颈始终是开发者心中的痛点。近期,一种“LongCat主写+Kimi/DeepSeek/小米Mimo等模型审查”的多模型协作方案引发热议,宣称效果堪比行业标杆Claude Fab ...
读大模型训练流程时,我以前会把 Pretrain、SFT、RLHF 都笼统理解成“继续训练模型”。看完 Happy-LLM 第四章后,才真正把三者拆开:它们虽然都在更新参数,但解决的不是同一个问题。Pretrain 主要建立知识和语言能力,SFT 教模型理解并执行指令,RLHF 再把输出往人类偏好的 ...
学完 Transformer 的基本结构后,再看预训练语言模型的发展,会发现很多模型名字并不是彼此割裂的。BERT、T5、GPT、LLaMA 看起来像不同时代的代表,底层其实都在回答同一个问题:我该使用 Transformer 的哪一部分,配什么预训练任务,才能把大量无标注文本转化成可迁移的语言能力 ...
豆包 Seed 又更新了:一张永远“最新”的模型卡 这次豆包推出的不是一个过段时间就会落后的固定版本,而是 Doubao-Seed-Evolving:一个专门面向 Coding 和 Agent 场景的 latest 分支。Evolving 的核心就是按周持续更新。开发者不用隔一段时间追一次新模型,使 ...