deephub

摘要： 说到上下文工程，其实就是在合适的时机把AI需要的所有东西都给它——指令、示例、数据、工具、历史记录，全部打包塞到模型的输入上下文里。 这么理解会比较直观：语言模型就像CPU，上下文窗口就是工作内存。我们要做的就是往这块内存里装合适比例的代码、数据和指令，让模型能把事情做对。 上下文的来源很多：用户的 阅读全文

摘要： RAG（检索增强生成）本质上就是给AI模型外挂一个知识库。平常用ChatGPT只能基于训练数据回答问题，但RAG可以让它查阅你的专有文档——不管是内部报告、技术文档还是业务资料，都能成为AI的参考资源。 很多人第一反应是用LangChain或LlamaIndex这些现成框架，确实能快速搭起来。但自己 阅读全文

摘要： 做机器人逆运动学（IK）的时候，你迟早会遇到矩阵指数和对数这些东西。为什么呢？因为计算三维旋转的误差，不能简单地用欧氏距离那一套，那只对位置有效。旋转得用另一套方法——你需要算两个旋转矩阵之间的差异，这就涉及到矩阵对数了。 这篇文章就是要把这事儿说清楚：从旋转矩阵构成的李群开始，到流形和切空间，再到 阅读全文

摘要： 对于神经网络来说，我们已经习惯了层状网络的思维：数据进来，经过第一层，然后第二层，第三层，最后输出结果。这个过程很像流水线，每一步都是离散的。 但是现实世界的变化是连续的，比如烧开水，谁的温度不是从30度直接跳到40度，而是平滑的上生。球从山坡滚下来速度也是渐渐加快的。这些现象背后都有连续的规律在支 阅读全文

摘要： 很多人认为使用AI Agent就是直接扔个提示词过去，然后等结果。做实验这样是没问题的，但要是想在生产环境稳定输出高质量结果，这套玩法就不行了。 核心问题是这种随意的提示方式根本扩展不了。你会发现输出结果乱七八糟，质量完全不可控，还浪费计算资源。 真正有效的做法是设计结构化的Agent工作流。 那些 阅读全文

摘要： 从ChatGPT到现在的智能体AI这个跨越说明了一个关键转变。ChatGPT本质上是个聊天机器人，生成文本回应；而AI智能体能够自主完成复杂任务——销售、旅行规划、航班预订、找装修师傅、点外卖，这些都在它的能力范围内。 目前我们解决用户任务时，主要是让大语言模型（LLM）做任务分解，这也是和生成式A 阅读全文

摘要： 在传统机器学习中数据编码确实相对直观：独热编码处理类别变量，标准化调整数值范围，然后直接输入模型训练。整个过程更像是数据清洗，而非核心算法组件。 量子机器学习的编码完全是另一回事。 传统算法可以直接消化特征向量 ***[0.7, 1.2, -0.3]***，但量子电路运行在概率幅和量子态的数学空间里 阅读全文

摘要： Hyperband是机器学习中一个相当实用的超参数调优算法，核心思路是用逐次减半来分配计算资源。说白了就是让一堆配置先跑几轮，表现差的直接踢掉，剩下的继续训练更多轮次。 这个方法的巧妙之处在于平衡了探索和利用。你既要试足够多的配置组合（探索），又要给有潜力的配置足够的训练时间（利用）。传统方法要么试 阅读全文

摘要： 监督微调（SFT）基本上是现在训练大模型时必走的路。不管你要让模型干什么，先用 SFT 让它学会基本的指令跟随和对话能力，然后再通过 PPO 或者 GRPO 这些强化学习方法进一步调优。 但 SFT 有个老毛病：容易过拟合。模型会死记硬背训练数据，泛化能力变差。更要命的是，经过 SFT 训练的模型在 阅读全文

摘要： 图数据在机器学习中的地位越来越重要。社交网络的用户关系、论文引用网络、分子结构，这些都不是传统的表格或序列数据能很好处理的。现实世界中实体之间的连接往往承载着关键信息。 图神经网络(GNN)的出现解决了这个问题，它让每个节点可以从邻居那里获取信息来更新自己的表示。图卷积网络(GCN)是其中的经典代表 阅读全文