deephub

摘要： 很多人第一次看到 AI Agent 自己编辑文件、跑代码、修 bug，还能一直运行下去的时候,都觉得挺神奇。其实远没有想象中那么复杂。这里没什么秘密算法,也没有什么"智能体大脑"这种玄学概念。 AI Agent核心就三件事：循环 + LLM + 工具函数。 如果你会写个 while True 循环？ 阅读全文

摘要： 如果你再维护线上的聊天系统，那么提示注入(Prompt Injection)是绕不开的话题。这不是一个普通漏洞而是OWASP LLM Top 10榜单上的头号风险，它的影响范围覆盖所有部署大语言模型的组织。 本文会详细介绍什么是提示注入，为什么它和传统注入攻击有本质区别，以及为什么不能指望用更好的过 阅读全文

摘要： 如果一个项目的核心不是分类准确率，而是概率估计的质量。换句话说，需要的是一个校准良好的模型。这里校准的定义是：如果模型给一批样本都预测了25%的正例概率，那这批样本中实际的正例比例应该接近25%。这就是校准。 解决这个校准问题单看ROC-AUC不够，要用Brier score或者Log-loss来保 阅读全文

摘要： 开发过多模态 AI 应用的人都应该遇到过这个问题，其实最头疼的不是算法而是基础设施。 向量数据库需要存 embeddings；SQL 数据库需要元数据管理；大文件还要放到对象存储上，不仅邀单独跑个 pipeline 做 chunking，还要再写个脚本调模型推理，最后还得套个 agent 框架把这些 阅读全文

摘要： JAX 是 Google 和 NVIDIA 联合开发的高性能数值计算库，这两年 JAX 生态快速发展，周边工具链也日益完善了。如果你用过 NumPy 或 PyTorch，但还没接触过 JAX，这篇文章能帮助你快速上手。 围绕 JAX 已经涌现出一批好用的库：Flax 用来搭神经网络，Optax 处理 阅读全文

摘要： 检索增强生成（RAG）早已不是简单的向量相似度匹配加 LLM 生成这一套路。LongRAG、Self-RAG 和 GraphRAG 代表了当下工程化的技术进展，它们各可以解决不同的实际问题。 传统 RAG 的核心限制 标准的 RAG 流程大概是这样的：把文档分割成小块、向量化、通过余弦相似度检索、喂 阅读全文

摘要： CrewAI是一个可以专门用来编排自主 AI 智能体（Autonomous AI Agents） 的Python 框架，你可以把它理解为在代码层面组建一个“虚拟团队”，给每个 Agent 分配特定的角色、目标，让它们协同处理那些单个 LLM 搞不定的复杂任务。 https://avoid.overf 阅读全文

摘要： 深度学习模型参数量和训练数据集的爆炸式增长，以 Llama 3.1 为例：4050 亿参数、15.6 万亿 token 的训练量，如果仅靠单 GPU可能需要数百年才能跑完，或者根本无法加载模型。 并行计算（Parallelism）通过将训练任务分发到多个 GPU（单机多卡或多机多卡），并利用通信原语 阅读全文

摘要： 在软件开发领域，提到轻量级、嵌入式的本地数据库，我们首先会想到 SQLite，它快速且无需独立服务进程。现在检索增强生成（RAG）和向量数据库的世界里，一个定位相似的新工具出现了。你可以把LEANN看作是嵌入式、轻量级的向量数据库。它完全不需要依赖庞大的数据中心或者 GPU 集群。一个个人专属的 R 阅读全文

摘要： 很多人把 groupby 理解成单纯的求和、计数这类操作，比如说算算总收入、数数用户量，然后就没了。实际上它的应用场景要广得多：计算组内特征、数据标准化、构造滚动指标、合并不同维度的统计结果，甚至处理一些复杂的嵌套数据结构。 所以本文将介绍10个实际工作中比较有用的技巧，文章的代码都是可以直接拿来用 阅读全文