2025年5月21日
mamba改进
摘要： NaN 爆炸几乎总是源于循环核心内部的数值溢出。 我们插入的代码片段请求 GRU 风格的 Mamba 使用 4096 维的隐藏状态（d_model = H × W = 64 × 64）。 这非常大：循环矩阵的大小为 4096×4096，每次迭代会多次进行乘法运算，所以即使是默认的 Xavier/正交 阅读全文
posted @ 2025-05-21 13:28 GraphL 阅读(182) 评论(0) 推荐(0)