摘要：
课程 周数 类别 内容 课程一：神经网络和深度学习 第一周：深度学习简介 理论 （1）深度学习简介 实践 无 第二周：神经网络基础 理论 （1）回归基础 （2）分类与逻辑回归 （3）梯度下降法 （4）损失函数与传播 （5）向量化 （6）向量化的反向传播 实践 E & C 第三周：浅层神经网络 理论 阅读全文
posted @ 2026-02-06 18:22
哥布林学者
阅读(895)
评论(0)
推荐(0)
摘要：
上一篇我们介绍了 Transformer-XL 的段级递归和记忆缓存机制，也留下了一个问题： Memory 让不同 segment 可以互相看到，但配套的位置编码逻辑却并不完善。 这一篇就来展开 Transformer-XL 配套的改进方案：跨窗口的相对位置编码。 1. 为什么要提出跨窗口的 RPE 阅读全文
posted @ 2026-05-13 14:57
哥布林学者
阅读(67)
评论(0)
推荐(0)
摘要：
在[上一篇]中，我们提到 RPE 提出后出现了分裂式的发展趋势，而按时间来讲，对 RPE 的初次改进出自 19 年的论文： Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context ，即超长上下文的 Transfo 阅读全文
posted @ 2026-05-11 21:26
哥布林学者
阅读(97)
评论(0)
推荐(0)
摘要：
上一篇我们介绍了坐标注意力 CA，它通过沿两个方向分别池化来保留空间位置信息。 同样，我们可以总结一下它实现混合注意力的逻辑： CA 的做法本质上是一种隐式编码，它通过池化整合空间特征，学习权重并注入的逻辑让模型间接感知到空间信息，实现混合注意力。 如果再站高点，我们会发现一个更基础的问题： 模型究 阅读全文
posted @ 2026-05-09 13:10
哥布林学者
阅读(112)
评论(0)
推荐(0)
摘要：
上一篇我们介绍了 ECA，它用一维卷积替代了 SE 中的 MLP bottleneck，用更少的参数实现了更好的通道注意力。 但实际上，这套框架里还有别的优化空间： 在前面的内容里，无论是 SE 、 CBAM 还是 ECA ，它们的通道注意力子模块第一步都是 全局平均池化（CBAM 额外加入了最大池 阅读全文
posted @ 2026-05-06 16:27
哥布林学者
阅读(141)
评论(0)
推荐(0)
摘要：
上一篇我们介绍了 CBAM，它在 SE 的基础上加入了空间注意力，形成了"通道 + 空间"的混合注意力机制。 我们发现，无论是 SE 还是 CBAM，它们的通道注意力子模块都采用了一个 bottleneck 结构的 MLP，即先将通道维度从 \(C\) 压缩到 \(C/r\)，再升维回 \(C\)。 阅读全文
posted @ 2026-05-05 12:30
哥布林学者
阅读(191)
评论(0)
推荐(0)
摘要：
上一篇我们介绍了 SE 模块，从通道维度引入了注意力机制，让网络能够自适应地调整每个通道的权重。 再结合之前的相关内容，现在我们已经对通道维度和空间维度上的注意力逻辑都有所了解了，显然二者并不冲突，反而是相辅相成的，因此一个想法自然就出现了： 组合应用通道注意力和空间注意力，实现混合注意力机制。 沿 阅读全文
posted @ 2026-05-04 15:01
哥布林学者
阅读(128)
评论(0)
推荐(0)
摘要：
至此，在之前的内容里，我们已经介绍了传统卷积网络和 Transformer 架构两条路线在 CV 任务中的发展研究。 实际上，我们可以这样总结一下： 无论是 Transformer 的注意力机制，还是 CNN 的诸多创新，它们其实都在回答同一个问题：模型应该关注哪里（空间）和关注什么（通道）。 也可 阅读全文
posted @ 2026-05-03 22:24
哥布林学者
阅读(95)
评论(0)
推荐(0)
摘要：
在之前的内容里，我们展开了 CNN 的一些演进，知道 CNN 本身也在不断发展。 现在我们再绕回 Transformer ：在 21 年 Swin Transformer发表后，以它为代表的诸多 ViT 工作，已经在多个视觉任务上全面超越传统 CNN。 这带来了一个非常现实的思考： 就像珍妮机淘汰手 阅读全文
posted @ 2026-04-30 16:44
哥布林学者
阅读(135)
评论(0)
推荐(0)
摘要：
之前的内容里，我们提出了让 CNN 更灵活的想法： 能不能让“采样位置”本身，变成可以学习的？ 在上一篇里，我们已经用可变形池化实现了这一目标。但同时我们也提到了，这并非终点： 既然池化可以偏移采样，那更基础的卷积本身为什么不能？ 这便是 Deformable Convolutional Netwo 阅读全文
posted @ 2026-04-29 22:01
哥布林学者
阅读(140)
评论(0)
推荐(0)
摘要：
在上一篇中，我们已经得出了一个非常关键的结论： 无论是 RoI Align 还是 PS RoI Pooling，本质上都在“改进采样方式”，但它们的采样规则仍然是“人为设计的”，也就是固定的。 因此我们提出了新的想法： 能不能让“采样位置”本身，变成可以学习的？ 这种想法的实现结果之一就是 Defo 阅读全文
posted @ 2026-04-27 18:17
哥布林学者
阅读(97)
评论(1)
推荐(0)
浙公网安备 33010602011771号