deephub

摘要： 大语言模型在文本生成和推理上的表现有目共睹，但对于从非结构化文本构建可靠知识图谱这件事，依然是个老大难。这个问题的根源在于：语言模型的运作机制与结构化知识提取的需求之间存在本质性的错位。本文会介绍自动化知识图谱生成的核心难题：生成式模型为什么搞不定结构化提取，判别式方案能提供什么样的替代选择，生产级 阅读全文

摘要： 大语言模型发展到今天，写提示词不仅是个体力活，还是一个技术活。提示词的措辞稍微改一下，性能波动 20-50% 是常有的事。那能不能让 LLM 自己改进提示词呢？ 本文主要讲的就是这个，一个处理复杂推理任务的 Agent，经过几轮自动迭代，准确率从 34% 飙到 97%相对提升 184%。下面是完整的 阅读全文

摘要： Agent 系统发展得这么快那么检索模型还重要吗？RAG 本身都已经衍生出 Agentic RAG和 Self-RAG（这些更复杂的变体了。 答案是肯定的，无论 Agent 方法在效率和推理上做了多少改进，底层还是离不开检索。检索模型越准，需要的迭代调用就越少，时间和成本都能省下来，所以训练好的检索 阅读全文

摘要： 下图展示了一个有趣的现象：在法国斗牛犬的图像上添加一小块对抗性补丁后，VGG分类器竟然以极高的置信度将其判定为足球。Grad-CAM可视化清楚地显示，模型的注意力完全从狗身上转移到了那块补丁——一个精心构造的小扰动就足以劫持整个决策过程。 95%准确率的模型可能不堪一击 ResNet、VGG、Eff 阅读全文

摘要： 时间序列无处不在，心电图上的心跳、股票价格、家庭智能电表读数，甚至句子中词语——这些都是时间序列。它们的特殊之处在于顺序：过去影响未来，相邻的数据点往往高度相关。 现代预测和分类模型很少直接处理原始时间序列值。它们依赖的是特征：用来描述序列形状、变异性、趋势和模式的摘要信息。好的特征能把困难的预测问 阅读全文

摘要： LLM幻觉问题至今没有根治方案。RAG能缓解一部分，但成本高、架构复杂，而且只适用于有外部知识源的场景。而对于模型"应该知道但经常搞错"的那类问题，比如历史事件的时间线、人物履历的细节，RAG帮不上什么忙。 Chain-of-Verification（CoVe）的思路是既然模型会在生成时犯错，那就让 阅读全文

摘要： 本文的目标是解释为什么现代LLM架构在前馈部分使用 SwiGLU 作为激活函数并且已经放弃了 ReLU 神经网络本质上是一系列矩阵乘法，如果我们堆叠线性层而不使用任何激活函数： 无论你堆叠多少层，它仍然只是一个线性变换，网络只能学习线性关系。 激活函数引入了非线性，使网络能够逼近复杂的非线性函数，这 阅读全文

摘要： 训练单个 RL 智能体的过程非常简单，那么我们现在换一个场景，同时训练五个智能体，而且每个都有自己的目标、只能看到部分信息，还能互相帮忙。 这就是多智能体强化学习（Multi-Agent Reinforcement Learning，MARL），但是这样会很快变得混乱。 什么是多智能体强化学习 MA 阅读全文

摘要： LM 在多步骤问题求解上的表现已经相当不错了，但复杂逻辑链的处理仍然是个难题。模型的推理深度直接决定了它在多跳推理任务中能走多远、有多可靠。 本文介绍推理深度的核心机制，然后用四项压力测试指标对 Llama 3.2 和 Qwen 3 做个横向对比看看它们的逻辑极限在哪里。 什么是多跳推理 多跳问题要 阅读全文

摘要： LLM 能自动化研究、编程等各类任务，但有个恼人的问题：完成一个任务后，下次交互又得从零开始。每次都要重复告诉它代码格式怎么写、任务按什么偏好执行，时间就这么浪费掉了。 agents.md 文件可以让 LLM 把可复用的信息存到单独文件里学习你的习惯和模式。新任务开始时自动读取这个文件，冷启动问题没 阅读全文