deephub

摘要： 做 A/B 测试或者分析转化率的时候，经常会碰到那个老生常谈的问题： “这数据的波动到底是干预引起的，还是仅仅是相关性？” 传统的分析手段和机器学习擅长告诉你什么能预测结果，但预测不等于因果。而在做决策，不管是干预、优化还是调整业务逻辑时，我们需要的是因果关系。 今天介绍一下 PyCausalSim 阅读全文

摘要： 贝叶斯优化（Bayesian Optimization, BO）虽然是超参数调优的利器，但在实际落地中往往会出现收敛慢、计算开销大等问题。很多时候直接“裸跑”标准库里的 BO，效果甚至不如多跑几次 Random Search。 所以要想真正发挥 BO 的威力，必须在搜索策略、先验知识注入以及计算成本 阅读全文

摘要： 机器学习模型处理不了原始文本。无论是线性回归、XGBoost还是神经网络，遇到 "red" 、 "medium" 、 "CA" 这类分类变量都没法直接处理。所以必须把它们转成数字这个过程就是分类编码。 大家入门时肯定都学过独热编码或序数编码，但编码方法其实非常多。目标编码、CatBoost编码、Ja 阅读全文

摘要： LLM推理服务中，（Time-To-First-Token） 一直是个核心指标。用户发起请求到看见第一个token输出，这段时间越短体验越好，但实际部署中往往存在各种问题。 LMCache针对TTFT提出了一套KV缓存持久化与复用的方案。项目开源，目前已经和vLLM深度集成。 https://avo 阅读全文

摘要： 单机 PyTorch 模型跑推理没什么问题，但数据量一旦上到万级、百万级，瓶颈就暴露出来了：内存不够、GPU 利用率低、I/O 拖后腿，更别说还要考虑容错和多机扩展。 传统做法是自己写多线程 DataLoader、管理批次队列、手动调度 GPU 资源，这哥工程量可不小，调试起来也麻烦。Ray Dat 阅读全文

摘要： 很多人刚接触JAX都会有点懵——参数为啥要单独传？随机数还要自己管key？这跟PyTorch的画风完全不一样啊。 其实根本原因就一个：JAX是函数式编程而不是面向对象那套，想明白这点很多设计就都说得通了。 先说个核心区别 PyTorch里，模型是个对象，权重藏在里面，训练的时候自己更新自己。这是典型 阅读全文

摘要： RAG系统在生产环境中有个老大难问题：脆弱。演示时用精心准备的问题去问，效果看起来很惊艳。但真正上线后，用户的问题五花八门，向量数据库返回的文档语义上相似但实际答非所问，LLM又特别喜欢讨好，拿着一堆噪音数据照样能编出一套看似合理的答案。 那么问题出在哪呢？标准RAG是典型的开环架构：输入 → 嵌入 阅读全文

摘要： 本文作者找到了一种方法可以深入 Nano Banana 的内部运作机制，具体手法没法公开，但结果可以分享。 破解图像生成器跟破解文本模型完全是两回事。图像模型的设计目标是输出图片而非文字，对提示词注入的响应模式不同。有意思的是，在提取系统指令的过程中，模型自发生成了一些图像： 破解成功时，Gemin 阅读全文

摘要： RAG系统搭完其实才是工作的开始，实际跑起来你会发现，答案质量参差不齐，有时候精准得吓人、有时候又会非常离谱。这个问题往往不模型本身，而是在检索环节的那些"小细节"。 这篇文章整理了七个在LlamaIndex里实测有效的检索优化点，每个都带代码可以直接使用。 https://avoid.overfi 阅读全文

摘要： TPU 训练的真实效率往往取决于两个核心要素：Shape 的稳定性与算子的融合度。 很多时候，JAX 任务之所以出现严重的性能瓶颈，并非算法本身设计有问题，而是忽视了 XLA 编译器与底层硬件对“确定性”的极度偏好。基于大量实战调优经验，本文总结了八条能让 JAX 训练任务从“甚至跑不通”蜕变为“跑 阅读全文