deephub

摘要： RAG（检索增强生成）现在基本成了处理长文档的标准流程，但是它问题也很明显：把检索到的所有文本段落统统塞进LLM，这样会导致token数量爆炸，处理速度慢不说，还费钱。 meta提出了一个新的方案REFRAG：与其让LLM处理成千上万个token，不如先用轻量级编码器（比如RoBERTa）把每个固定 阅读全文

摘要： RAG 的关键其实就在检索这一步：检索质量好不好，很大程度上取决于怎么切分和存储文档——也就是分块（Chunking）这个看起来不起眼的环节。 固定分块、递归分块、语义分块、结构化分块、延迟分块，每种方法在优化上下文理解和检索准确性上都有各自的价值。用对了方法，检索质量能提升一大截，幻觉问题也会少很 阅读全文

摘要： 缺失数据处理一直是机器学习实践中的难点。MICE（Multivariate Imputation by Chained Equations）作为一种基于迭代思想的插补框架，可以处理复杂缺失值问题。因为它不是简单地用均值或中位数填补空缺，而是通过构建后验分布来建模不确定性，这种处理方式在统计学上更为严 阅读全文

摘要： 分块策略、混合检索、重排序、HyDE、上下文压缩、元数据过滤、自适应k值——八个实用技巧快速改善检索质量 RAG系统答不准问题，本质上是检索精度的问题。LlamaIndex本身提供的调优空间还挺大，不用推翻重写就能把准确率往上拉一截。本文整理了八个实际用过的优化手段，针对性解决幻觉、上下文错位、答案 阅读全文

摘要： 斯坦福和SambaNova AI最近联合发了一篇论文，Agentic Context Engineering (ACE)。核心思路：不碰模型参数，专注优化输入的上下文。让模型自己生成prompt，反思效果，再迭代改进。 可以把这个过程想象成模型在维护一本"工作手册"，失败的尝试记录成避坑指南，成功的 阅读全文

摘要： 这是一篇再国外讨论非常火的帖子，我觉得不错所以把它翻译成了中文。 大语言模型和ai只能提的发展衍生出了一个东西叫"vibe coding"（氛围编程）——用自然语言描述需求，让AI生成代码，看起来不用写代码就能做出产品。 但这玩意儿本质上是个陷阱。它培养的不是开发者，而是一群只会生成代码、却看不懂也 阅读全文

摘要： Pandas 的 bug 有个特点，就是不会在控制台里大喊大叫，而是悄悄藏在 dtype 转换、索引操作、时区处理的某个角落，或者那种跑十万次才能复现一次的边界条件。所以如果你想找到和定位这种隐藏的BUG就需要一套相对简洁的测试手段能把大部分坑提前暴露出来。 下面这 12 个策略是实际项目里反复使用 阅读全文

摘要： mmBERT是一个纯编码器架构的语言模型，在1800多种语言、3万亿tokens的文本上完成了预训练。它的架构设计借鉴了ModernBERT，但又加入了不少创新点，比如逆掩码比率调度和逆温度采样。而且研究团队还把1700多种低资源语言放在了衰减阶段加入训练，这个策略带来了相当不错的效果提升，充分利用 阅读全文

摘要： GPU 性能没问题，模型也训练得不错，但 token 吞吐量就是上不去？问题多半出在 KV-cache 上。本文整理了 10 个实际可用的优化方向，都是能直接上生产环境的那种。 https://avoid.overfit.cn/post/321dd7c3c76444b59e97137c23ff696 阅读全文

摘要： GPU 永远不够用，这大概是每个做推理服务的人都有的共识。相比无脑加卡，更实际的办法是把现有资源榨干。下面这些是我在实际项目里反复用到的几个调优手段，有代码、有数据、也有一些踩坑经验。 https://avoid.overfit.cn/post/fe3bc408622e424695dbcc27f0b 阅读全文