摘要：
视觉变换器（ViT）已成为众多工业级视觉解决方案的事实标准选择。但由于每一层都计算自注意力，这导致其推理成本对许多场景而言是不可接受的，因为自注意力在标记数量上具有平方的计算复杂度。另一方面，图像中的空间信息和视频中的时空信息通常是稀疏和冗余的。 LookupViT旨在利用这种信息稀疏性来降低ViT 阅读全文
摘要：
良好的权重初始化可以有效降低深度神经网络（DNN）模型的训练成本。如何初始化参数的选择是一个具有挑战性的任务，可能需要手动调整，这可能既耗时又容易出错。为了解决这些限制，论文迈出了建立权重生成器以合成神经网络初始化权重的创新一步。采用图像到图像的转换任务，使用生成对抗网络（GAN）作为示例，因为这方 阅读全文
摘要：
全景场景图生成（PSG）的目标是对对象进行分割并识别它们之间的关系，从而实现对图像的结构化理解。以往的方法主要集中于预测预定义的对象和关系类别，因此限制了它们在开放世界场景中的应用。随着大型多模态模型（LMMs）的快速发展，开放集对象检测和分割已经取得了重大进展，但PSG中的开放集关系预测仍然未被探 阅读全文
摘要：
现有的方法通过利用视觉-语言模型（VLMs）（如CLIP）强大的开放词汇识别能力来增强开放词汇目标检测，然而出现了两个主要挑战：（1）概念表示不足，CLIP文本空间中的类别名称缺乏文本和视觉知识。（2）对基础类别的过拟合倾向，在从VLMs到检测器的转移过程中，开放词汇知识偏向于基础类别。 为了解决这 阅读全文
摘要：
近期在大规模基础模型上的进展引发了对训练高效大型视觉模型的广泛关注。一个普遍的共识是必须聚合大量高质量的带注释数据。然而，鉴于计算机视觉中密集任务（如目标检测和分割）标注的固有挑战，实际的策略是结合并利用所有可用的数据进行训练。 论文提出了Plain-Det，提供了灵活性以适应新的数据集，具有跨多样 阅读全文
摘要：
尽管文本到图像的扩散模型已被证明在图像合成方面达到了最先进的结果，但它们尚未证明在下游应用中的有效性。先前的研究提出了在有限的真实数据访问下为图像分类器训练生成数据的方法。然而，这些方法在生成内部分布图像或描绘细粒度特征方面存在困难，从而阻碍了在合成数据集上训练的分类模型的泛化能力。论文提出了Dat 阅读全文
摘要：
非线性激活函数对深度神经网络的成功至关重要，选择合适的激活函数可以显著影响其性能。大多数网络使用固定的激活函数（例如，ReLU、GELU等），这种选择可能限制了它们的表达能力。此外，不同的层可能从不同的激活函数中受益。因此，基于可训练激活函数的兴趣日益增加。 论文提出了一种基于有效微分同胚变换（称为 阅读全文
摘要：
后训练量化（PTQ）在视觉Transformer（ViTs）领域引起了广泛关注，因为它在模型压缩方面表现出了高效率。然而，现有的方法通常忽视了量化权重和激活之间复杂的相互依赖关系，导致了相当大的量化误差。论文提出了一种名为ERQ的两步PTQ方法，精心设计用于顺序降低激活和权重量化带来的量化误差。ER 阅读全文
摘要：
Transformer在计算机视觉任务中表现出了令人鼓舞的性能，包括图像超分辨率（SR）。然而，流行的基于Transformer的SR方法通常采用具有二次计算复杂度的窗口自注意力机制，导致固定的小窗口，限制了感受野的范围。论文提出了一种将基于Transformer的SR网络转换为分层Transfor 阅读全文
摘要：
近年来，人们尝试增加卷积神经网络（CNN）的卷积核大小，以模拟视觉Transformer（ViTs）自注意力模块的全局感受野。然而，这种方法很快就遇到了上限，并在实现全局感受野之前就达到了饱和。论文证明通过利用小波变换（WT），实际上可以获得非常大的感受野，而不会出现过参数化的情况。例如，对于一个 阅读全文