deephub

摘要： mmBERT是一个纯编码器架构的语言模型，在1800多种语言、3万亿tokens的文本上完成了预训练。它的架构设计借鉴了ModernBERT，但又加入了不少创新点，比如逆掩码比率调度和逆温度采样。而且研究团队还把1700多种低资源语言放在了衰减阶段加入训练，这个策略带来了相当不错的效果提升，充分利用 阅读全文

摘要： GPU 性能没问题，模型也训练得不错，但 token 吞吐量就是上不去？问题多半出在 KV-cache 上。本文整理了 10 个实际可用的优化方向，都是能直接上生产环境的那种。 https://avoid.overfit.cn/post/321dd7c3c76444b59e97137c23ff696 阅读全文

摘要： GPU 永远不够用，这大概是每个做推理服务的人都有的共识。相比无脑加卡，更实际的办法是把现有资源榨干。下面这些是我在实际项目里反复用到的几个调优手段，有代码、有数据、也有一些踩坑经验。 https://avoid.overfit.cn/post/fe3bc408622e424695dbcc27f0b 阅读全文

摘要： 在充满不确定性的现实世界里，AI的价值不在于预设规则，而在于持续学习和适应 AI Agent这个概念最近被炒得很热，从管理日程的语音助手到仓库里跑来跑去的机器人，大家都在谈论Agent的"自主性"。但是真正让Agent变得intelligent的核心技术，其实是强化学习（Reinforcement 阅读全文

摘要： LLM本质上是无状态的，如果你了解HTTP协议就很好理解这个概念，但是如果你没接触过这，那么可以理解成它们没有短期记忆能力，每次和LLM交互，都得把之前的对话重新喂给它。 短期记忆或者说状态管理其实很好处理，拿几组历史问答塞进prompt就行了。但是如果是长期记忆呢？ 要让LLM准确提取历史信息、理 阅读全文

摘要： 写Python数据处理代码时反复用for循环？这其实是在给程序性能交"税"。NumPy的广播(broadcasting)机制能让你摆脱这种困境——代码量更少，执行更快，关键是思维方式从"逐个迭代"转向"整体形状操作"。掌握这些模式后，你的CPU负载会明显下降。 https://avoid.overf 阅读全文

摘要： AX生态这两年在LLM训练这块追赶得挺快。PyTorch虽然还是主流但JAX在并行计算、TPU加速和API组合性上确实有些独特的优势。Google今天放出了Tunix这个库，专门做LLM的后训练——微调、强化学习、知识蒸馏这些都能搞。 Tunix是什么 这是个构建在JAX之上的后训练库，和Flax 阅读全文

摘要： 2015年DQN在Atari游戏上取得突破性进展，从此以后强化学习终于能处理复杂环境了，但没多久研究者就注意到一些奇怪的现象： Q值会莫名其妙地增长到很大，智能体变得异常自信，坚信某些动作价值极高。实际跑起来却发现这些"黄金动作"根本靠不住，部分游戏的表现甚至开始崩盘。 问题出在哪？答案是DQN更新 阅读全文

摘要： PINNs出了名的难训练。主要原因之一就是这个多目标优化问题。优化器很容易找到投机取巧的路径——比如拼命降低微分方程残差，但完全不管初始条件和边界约束。只要给初始条件和边界损失配的权重够低，它们增加的那点损失完全能被残差损失的大幅下降抵消掉。调整权重也许能暂时缓解这个问题，但谁也不能保证最优权重在整 阅读全文

摘要： 大语言模型的工作原理说起来很直接：根据输入内容和已生成的文本，预测下一个最合适的词（token）。输入先转换成 token，再变成向量表示，最后在输出层重新转回 token。 真正的挑战在于如何从候选词中做出选择。这个过程本质上是统计和概率性的，叫做"采样"。每个解码步骤模型都要从整个词汇表的概率分 阅读全文