deephub

摘要： AI能否像人类一样从错误中学习？反思型Agent系统不仅能生成回答，还会主动审视自己的输出，找出问题并持续改进。 反思策略本质上就是让LLM对自己的行为进行自我批评。有时反思器还会调用外部工具或检索系统来提升批评的准确性。这样一来系统输出的就不再是一次性的回答，而是经过多轮生成-审阅循环优化后的结果 阅读全文

摘要： 刷短视频本来只想看几分钟，不知不觉一个多小时就没了。每条视频都恰好戳中你的兴趣点，这种精准推送背后其实是一套相当复杂的工程架构。 这种"读心术"般的推荐效果并非偶然。驱动这种短视频页面的核心引擎，正是业内广泛采用的双塔推荐系统（Two-Tower Recommendation System）。 本文 阅读全文

摘要： 大语言模型（LLM）虽然拥有强大的理解和生成能力，但本质上还只是一个能够处理文本的模型，并且它们无法主动获取信息、执行操作或与外部系统交互。 而AI智能体可以通过为LLM配备工具调用、环境感知和自主决策能力，将静态的语言模型转化为能够独立完成复杂任务的自治系统。AI智能体可以主动获取实时信息、执行多 阅读全文

摘要： 在构建一个大规模 AI 系统时，我们其实就是在把不同的“智能体设计模式（agentic design patterns）”组合起来。不管系统多复杂都可以拆解成有限的几种"设计模式"。这些模式各有各的用法——有的专门负责思考优化，有的处理工具调用，有的管多智能体协作。 主要就这么几类：多智能体系统让不 阅读全文

摘要： 掩码注意力（Causal Attention）是生成式模型的核心技术，它传统自注意力机制有根本的不同，掩码注意力限制模型只能关注当前位置之前的tokens，确保了自回归生成的因果性。 自注意力的掩码 自注意力机制在Transformer编码器和BERT等模型中广泛应用。这种机制的特点是每个token 阅读全文

摘要： 注意力机制听起来很玄乎，但我们可以把它看作一个软k-NN算法。查询向量问："谁跟我最像？"，softmax投票，相似的邻居们返回一个加权平均值。这就是注意力头的另外一种解释： 一个可微分的软k-NN：计算相似度 → softmax转换为权重 → 对邻居值求加权平均。 通过 1/sqrt(d) 缩放防 阅读全文

摘要： Optuna在8月18日发布了最近的 v4.5版，加入了GPSampler的约束多目标优化功能，我们来看看这个新的功能。 基于高斯过程的贝叶斯优化（GPBO）最近几年在材料科学、机器学习等领域应用很广。GPSampler最初设计时就想做一个简单好用的GPBO实现。虽然在定制方面（比如核函数、获取函数 阅读全文

摘要： 检索增强生成（RAG）已成为构建生成式 AI 应用的主流架构，企业选择它主要原本是可以用自有数据约束模型输出，使答案更准确、可更新且更贴合业务场景。RAG 的效果在很大程度上取决于检索到的上下文质量——提升效果的常用手段包括合理切分文本块（chunking）、选用合适的嵌入模型与采用稳健的检索策略。 阅读全文

摘要： 推理型大语言模型现在确实火了。这类模型的特点是会先对问题做充分思考，然后再给出答案，而不是直接回复。 虽然早期训练推理型 LLM 的方法多半被各家公司当作核心机密，但最近的DeepSeek-R1、DeepSeekMath、Kimi-k1.5 和 DAPO 这些项目都公开了相关流程。 这些方法让 LL 阅读全文

摘要： 现在的文生图模型已经十分强大了，例如我们在输入框敲下 “a photorealistic astronaut riding a horse on the moon”，几秒钟后屏幕生成从未出现过的图像，细节丰富，几近完美。扩散模型（diffusion models）推动了这一切，早已将旧方法远远甩在身 阅读全文