orange0005

摘要： 1. 论文 Yu et al. An Image is Worth 32 Tokens for Reconstruction and Generation. NeurIPS, 2024. 摘要： 在视觉中，尤其是高分辨率设置下，tokenization 将图像转换为隐层表示以降低计算需求。然后，现在 阅读全文

摘要： 局部注意力方法 （Local attention，LA） 摘要： 主要研究了一些局部注意力的工作。 对于NLP，LA能够更好的外推；对于CV，能够更加高效。 作用不同，主要也是因为两者的关注目标，实现方法不同。(没有讨论多头，因为那是对最后一个维度，通道维度的操作，现在关注对注意力矩阵的操作)。 1 阅读全文

摘要： 1. 论文 摘要： 对于时变 PDE，在隐空间中自回归的生成未来时刻的 tokens。特别的，下一时刻的特征使用掩码自回归的范式，按批次生成不同位置的token。 2. 背景： 对于时变的参数 PDE，通常有两种预测设置： 时间条件：模型 \(\widehat{\mathcal{G}}\) 接收 \ 阅读全文

摘要： 1. 论文 摘要： 本文从压缩角度叙事。 引入了连续的自适应卷积，用于将偏微分方程数据从高分辨率的物理空间压缩到低分辨率的潜在空间。其中query points 是可学习的（可移动），提取 epsilon neighborhood 的信息。 NeurIPS 2. 背景： PDEs 数据通常是由一组网 阅读全文

摘要： 本文提出了一种基于神经网络的代理模型，被称为 RelaxNet，能够为五重碰撞积分提供保结构的近似值。进一步的，本文将机械对流算子与基于 PelaxNet 的碰撞算子融合为一个统一的模型，称为 Universal Boltzmann Equation (UBE). 阅读全文

摘要： 早先的 VQ 方法通常将图像分割为固定尺寸的区域，每个区域具有固定长度的code。作者提出了一种 Dynamic Vector Qualification，核心思想是基于信息密度分割图像为不同粒度的区域，粗粒度（平滑）区域拥有更少的codes，细粒度（细节）区域拥有更多codes。此外，不同于早先的顺序生成，本文还提出了由粗粒度区域到细粒度区域生成的顺序。 阅读全文

摘要： 对ViT的一种改进。提出了一种rigional to local attention，核心思想是将同一个输入(图片)不重叠地分割成一大一小两种size的patch，然后将两种patch之中的信息融合，来提升所学习特征的多尺度表现 阅读全文

摘要： 双分支transformer提取多尺度特征用于图像分类。 阅读全文

摘要： CLIP OpenAI ICML2021 摘要 CLIP的方法非常的简单，但是效果非常好。 比如，clip的迁移学习能力是非常强的，它预训好的模型，能够在任意一个视觉分类的数据集上取得不错的效果。而且最重要的是CLIP是**==zero shot==**的，也就是说它完全没有在这些数据集上去做训练， 阅读全文

摘要： 本文提出了一种端到端的，使用transformer的目标检测方法。作者将目标检测视为直接集合预测的问题。相比较于之前的方法，有效地消除了许多手工设计的组件的需求。 之前目标检测中，不论是proposal based的方法，还是anchor based的方法，都需要用到nms（非极大值抑制）等后处理方 阅读全文