deephub

摘要： 大型语言模型可以写代码、起草合同、总结论文，但它有一个致命缺陷：撒谎的时候极其自信。 这就是我们所说的幻觉，它是一个跨层级的问题：推理参数、系统架构、生成策略、生成后验证、模型训练、持续评估，每一层都有份，所以不能把它当成单点问题来处理。 这篇文章会逐层拆开来讲，从最简单的运行时参数一直到生产级的验 阅读全文

摘要： 数据增强是现代机器学习中一个绕不开的环节。在计算机视觉里，不做增强就很难训练出一个好的的模型；在时间序列分类领域，虽然也已经沉淀出一套相对成熟的技术——jittering、scaling、window slicing、time warping、permutation、rotation，还有若干基于模 阅读全文

摘要： 每一次 LLM 调用都是无状态的。模型读上下文窗口，生成响应然后忘掉一切。这对单轮问答没问题。对下列任何一类 Agent，这都是致命的： 保持连续性——"我昨天刚跟人说过这件事，为什么还要再解释一遍？" 从交互中学习——Agent 应当知道这个用户的账户、历史问题、首选语言 积累组织知识——哪些解决 阅读全文

摘要： Claude 4.7刚发布不久他的Prompt就已经被Hack出来了，仔细看 Claude 的系统设计会发现一件有意思的事：它不只追求聪明，还在试图约束自身的行为。 实际泄露的 prompt https://avoid.overfit.cn/post/0eca6cbacea64e338ac2f51a 阅读全文

摘要： PageIndex 是一种无向量、基于推理的检索增强生成（RAG）方法，无需 Embedding、分块或向量数据库即可从长文档中检索答案。 它不依赖语义相似度搜索，而是从文档中构建一棵层次化的目录树（TOC），再由大语言模型对该结构进行推理。模型先借助文档的层级结构定位最相关的章节，然后导航至该章节 阅读全文

摘要： RAG 流水线部署完毕、检索正常运行、LLM 按部就班地生成回答、用户也在持续收到响应，这一切看上去运转良好。但有一个问题大多数工程师从来不问：这些回答真的对吗？ 不是"系统是否返回了响应"，而是"响应的内容是否正确"。 如果答案是"上线前测过"或者"余弦相似度分数没问题"，那么一个静默故障问题大概 阅读全文

摘要： Andrej Karpathy在GitHub上发布了一份名为LLM Wiki的文档引起了巨大的关注，一派认为"这不就是多绕了几步的RAG"，另一派已经打开编辑器着手搭建测试。 文档里没有新模型、新算法、新硬件。它描述的无非是一套流程：把原始素材喂给LLM，让它生成结构化的Markdown wiki， 阅读全文

摘要： 要理解向量搜索先要弄清楚为什么需要向量数据库，关系型数据库处理结构化数据得心应手。所谓结构化数据就是那些具有固定列的表格数据，比如说：姓名、年龄、薪资、日期。这类数据精确匹配查询很简单："Age > 25"或"Name = Subham"就能拿到想要的结果。 但现实中大量数据是非结构化的：电子邮件、 阅读全文

摘要： 推荐系统不是单一算法而是一条流水线，每个阶段在不同约束下解决不同的问题。多数入门实现把所有事情塞进一步：算相似度。但生产级系统需要做关注点分离，分别管控质量、速度和行为。 本文梳理一条可以实际构建并持续扩展的端到端推荐 Pipeline。 动手写代码前，先回答三个问题：Item是什么（电影、商品、帖 阅读全文

摘要： 2023 年"Prompt Engineering"无处不在；到 2025 年中"Context Engineering"成为了主流；而 2026 年 4月反复提及的词是"Harness Engineering"。这三个术语描述的是同一问题在不同深度上的结构。搞清楚它们各自的边界，是眼下最有实用价值 阅读全文