deephub

摘要： Google发布的这个Code Wiki项目可以在代码仓库之上构建动态知识层的工具，或者说可以"自动生成文档"。 第一层是结构解析：Code Wiki使用Tree-sitter对代码进行语法树分析，将源码拆解成类、函数、方法、导入语句和依赖项。Tree-sitter是一个增量解析库支持多种编程语言， 阅读全文

摘要： Scaling Laws 已经成为深度学习领域的共识：更大的模型配合更多数据效果往往更好。但当参数量攀升至百亿乃至千亿级别时一个棘手的问题是：训练不稳定性。 现代大语言模型动辄堆叠数十甚至上百层，残差连接、跳跃连接、跨层路由机制层出不穷。这些架构设计背后的逻辑就是为了改善梯度流、加快收敛、提升参数利 阅读全文

摘要： 大过节的qwen发布了image 2512，DeepSeek这边就偷摸的在arXiv 上挂出了这篇 mHC: Manifold-Constrained Hyper-Connections (arXiv:2512.24880)，哪个正经公司在最后一天还发论文啊。 简单的看了一下，说说我的看法： 这回D 阅读全文

摘要： Lux 要是一个专门用于计算机操作的基础模型。和那些只会生成文字的 AI 不同，Lux 能看懂屏幕内容并理解自然语言描述的任务目标，然后实时操控计算机完成工作。 比如说你对电脑说"打开浏览器，访问 xxx"，然后它就真的执行了：鼠标移动、图标点击、网址输入、页面滚动，整个过程和真人操作没什么区别。 阅读全文

摘要： 精心构造的输入样本能让机器学习模型产生错误判断，这些样本与正常数据的差异微小到人眼无法察觉，却能让模型以极高置信度输出错误预测。这类特殊构造的输入在学术界被称为对抗样本(adversarial examples)。 模型将右侧图像判定为长臂猿，置信度高达99.3%。 人眼看不出这两张熊猫图像有任何区 阅读全文

摘要： 当文档库规模扩张时向量数据库肯定会跟着膨胀。百万级甚至千万级的 embedding 存储，float32 格式下的内存开销相当可观。 好在有个经过生产环境验证的方案，在保证检索性能的前提下大幅削减内存占用，它就是Binary Quantization（二值化量化） 本文会逐步展示如何搭建一个能在 3 阅读全文

摘要： FAISS 在实验阶段确实好用，速度快、上手容易，notebook 里跑起来很顺手。但把它搬到生产环境还是有很多问题： 首先是元数据的问题，FAISS 索引只认向量，如果想按日期或其他条件筛选还需要自己另外搞一套查找系统。 其次它本质上是个库而不是服务，让如果想对外提供接口还得自己用 Flask 或 阅读全文

摘要： 过去这些年语言模型的效率优化基本围绕着两条主线展开：参数规模和注意力机制的复杂度。但有个更根本的问题一直被忽视，那就是自回归生成本身的代价。这种逐token生成的模式让模型具备了强大的通用性，同时也带来了难以回避的计算开销。 现在有一种思路值得关注：不去替换现有的优化手段，而是在上层加一个潜在空间的 阅读全文

摘要： 大语言模型的文本生成方式一直都是以自回归为主：一个token接一个token,从左往右,生成完就定了。 但现在有个不太一样的思路开始在研究圈里流行起来，那就是扩散语言模型(Diffusion LMs)。扩散模型在图像生成领域已经证明了自己的可行性,但是问题是把这套东西用到文本上一直很麻烦——训练难、 阅读全文

摘要： 做过电力负荷预测或者交通预测朋友，大概率都处理过时间特征。这里最直接的做法通常是把时间（比如分钟或小时）直接扔进模型里。这看起来逻辑自洽，但存在这一个大坑，就是“午夜悖论”。 比如说你的模型面对两个时间点：23:59（一天的第1439分钟） 和 00:01（一天的第1分钟）。在我们的认知里，这俩只差 阅读全文