随笔分类 - Transformer
摘要：0.前言 相关资料： arxiv github 论文解读 论文基本信息： 发表时间：NeurlPS2022(2022.10.13) 1.摘要 最近，基于Transformer的网络在语义分割方面取得了令人印象深刻的结果。然而在实时语义分割方面，由于Transformer的计算机制耗时，纯基于cnn的
阅读全文
摘要：0.前言 相关资料： arxiv github 论文解读 论文基本信息： 发表时间：arxiv2022(2022.9.16) 1.针对的问题 CNN虽然效率更高，能够建模局部关系，易于训练，收敛速度快。然而，它们大多采用静态权重，限制了它们的表示能力和通用性。而全局注意力机制虽然提供了动态权重，能从
阅读全文
摘要：0.前言 相关资料： arxiv github 论文解读(机器之心，CSDN) 论文基本信息： 发表时间：arxiv2021(2021.5.5) 发表单位：清华大学图形学实验室Jittor团队 1.针对的问题 self-attention自身存在两个缺点：(1)计算量太大，计算复杂度与pixel的平
阅读全文
摘要：0.前言 相关资料： arxiv github 论文解读 论文基本信息： 发表时间：arxiv2022(2022.9.29) 1.针对的问题 之前的方法通过局部注意力机制来降低计算复杂度，但这削弱了自注意力的两个最理想特性:长程相互依赖建模和全局感受野。 2.主要贡献 •引入DiNA，一个简单、灵活
阅读全文
摘要：0.前言 相关资料： arxiv github 论文解读 论文基本信息： 发表时间：arxiv2022(2022.6.21) 1.针对的问题 视觉transformer计算复杂度和内存占用都是二次的，这主要是softmax归一化导致的，这使其无法处理高分辨率图像或细粒度图像patch。 2.主要贡献
阅读全文
摘要：0.前言 相关资料： arxiv github 论文解读(CSDN) 论文基本信息： 作者单位：Facebook 发表时间：arxiv2022(2022.4.14) 1.针对的问题 1.之前的视觉Transformer关于嵌入维数(不包括线性投影)是线性的，但相对于token的数量是二次的，而在视觉
阅读全文
摘要：0.前言 相关资料： arxiv github 论文解读 论文基本信息： 领域：异常检测 发表时间：arxiv 2022(2022.9.25) 1.针对的问题 这篇论文主要是在作者之前的工作，自监督预测卷积注意块(SSPCAB)，基础上进行改进，使用一个3D掩码卷积层，以及一个用于通道级注意的tra
阅读全文
摘要：0.前言 相关资料： arxiv github 论文解读(CSDN，知乎，CSDN) 论文基本信息： 领域：异常检测 发表时间：CVPR2022(2022.3.14) 1.针对的问题 与现有的方法不同，本文是第一个引入基于重构的功能作为神经体系结构的基本构建块的方法，可以集成到众多现有的异常检测框架
阅读全文
摘要：1.针对的问题 现有的深度网络方法主要基于类激活图，只强调最具判别性的局部区域，忽略了整个目标。此外，新兴的基于transformer的技术不断强调背景，这阻碍了完整物体的识别能力。 2.主要贡献 •提出了一种再注意机制，称为token refinement transformer(TRT)，它突出
阅读全文
摘要：1.针对的问题 为了在未修剪视频中建模时间关系，以前的多种方法使用一维时间卷积。然而，受核大小的限制，基于卷积的方法只能直接获取视频的局部信息，不能学习视频中时间距离较远的片段之间的直接关系。因此，这种方法不能模拟片段之间的远程交互作用，而这对动作检测可能很重要。 多头自注意力虽然可以对视频中的长期
阅读全文
浙公网安备 33010602011771号