Goblinscholar

摘要： 上一篇我们介绍了 SwiGLU，通过引入门控机制让 FFN 能够根据输入动态筛选信息，取代了标准 Transformer 沿用多年的单通路结构。 前两篇的内容都关于结构上的优化，本篇则关于一个核心工程优化。 我们知道，即使是现在的多数大模型，其生成回答的逻辑仍然是自回归生成，即逐个字往外蹦。 因此， 阅读全文

摘要： 上一篇我们看了现代大模型对归一化的改造。 RMSNorm 去掉了均值中心化，只保留均方根缩放：一个沿用多年的标准组件，拆开一看，其中一部分工作在现代整体架构中已经有些多余了。 本篇来看第二个改动：Transformer 架构中的 FFN (MLP) 层的重构，而其具体内容，需要先从激活函数说起。 1 阅读全文

摘要： 上一篇我们介绍了旋转位置编码 RoPE ，它通过在 QK 点积中注入旋转矩阵，让注意力自然而然地感知到相对位置。如今 RoPE 已经成为几乎所有主流开源大模型的位置编码标准。 但位置编码只是现代大模型改造的一个环节。 如果把标准 Transformer 和今天的大模型放在一起对比，就会发现归一化方式 阅读全文

摘要： 上一篇我们回到 Swin 补上了它的二维 RPE 方案，用紧凑偏置表实现了高效的二维相对位置编码。 至此，从 Shaw 的加法型、Transformer-XL 的四项重构式、再到 T5 的偏置型，Swin 的二维扩展，每种方案都在尝试不同的方法来实现 RPE。 最终，在 NLP 这个 RPE 的"原 阅读全文

摘要： 自打有了 第一次的实践之后，现在有什么简单需求我都会尝试自己做一做，只要不涉及API，纯本地化的工具相对来说还是比较容易的。 1. 总结 得益于这次的目标非常简单，同样简单总结一下： 用时：不到两小时。 配置：Claude code 接 dsV4-flash 花费：0.59￥，换算约 1400 万 阅读全文

摘要： 本篇算法仓位：harris 1. 拼接算法现状 首先先需要说明的是，不同于我们之前介绍的 CV 和 NLP，在这些领域中，DL 方法已经成为绝对主流，传统机器学习和统计学方法更多只作为思想上的参考。 其根本原因还是我们之前提到过的： DL 本质上是数据驱动的方法，而这些领域恰恰拥有海量数据，从而使模 阅读全文

摘要： 新分类，不再只说纯理论了，我同步维护一个 github 仓库，也方便自己跑跑代码，有兴趣可以关注一下。 1. 扫推式成像 （Push broom Imaging） 在之前的 光谱融合中提到过，现有技术很难一次获取兼顾高光谱分辨率和高空间分辨率的图像。 概括来说可以理解为相机里的二维传感器难以完整采集 阅读全文

摘要： 1. 前言、配置和成本 前段时间 dsV4 刚出的时候，我就接到了 Claude code 里试了试，跑了几个模型的对比和消融实验，发现性价比确实不错。 偶尔刷抖音会刷到一些 vibe coding 作品，便有了尝试的想法。 选番茄钟主要是因为我对这种 APP 的开发流程的了解是浅薄的，因此，我应该 阅读全文

摘要： 上一篇我们介绍了 T5 的偏置型 RPE，仅仅使用一个标量偏置，配合分桶策略，就用极低的复杂度实现了 NLP 的高效位置编码。 而下一个问题就是： 一维序列上的标量偏置，到了二维图像上要怎么做？ 这一篇我们来补上之前的 Swin Transformer 中一个当时没有展开的细节：二维 RPE。 1. 阅读全文

摘要： 上一篇我们介绍了 T5 的主干逻辑，实际上，T5 的核心理念可以概括为“统一、简化” 。 那么问题来了： 一个追求统一和简洁的框架，会选择什么样的位置编码？ 最终，T5 没有走 Transformer-XL 的四项重构路线，也没有沿用原始的加法型 RPE，而是提出了一种极简的方案：偏置型 RPE。 阅读全文