摘要： 前言 本文没有动机在注意力机制内寻求创新。相反，它专注于在点云处理的背景下克服现有的准确性和效率之间的权衡，利用scale的力量。从3D大规模表示学习的最新进展中汲取灵感，我们认识到模型性能更多地受到规模的影响，而不是复杂设计的影响。因此，本文提出了Point TransformerV3（PTv3） 阅读全文

摘要： 前言 MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。 本文转载自Deephub Imba 作者：Floria 阅读全文

摘要： 前言 为了解决基于深度学习方法泛化性的问题，来自厦门大学、Intel、大疆的研究者们提出了 GIM: Learning Generalizable Image Matcher from Internet Videos。GIM 是第一个可以让匹配模型从互联网视频中学习到强泛化能力的训练框架。 本文转载 阅读全文

摘要： 前言 在某些情况下，我们需要用Pytorch做一些高级的索引/选择，所以在这篇文章中，将介绍这类任务的三种最常见的方法：torch.index_select, torch.gather and torch.take 本文转载自Deephub Imba 作者：Oliver S 仅用于学术分享，若侵权请 阅读全文

摘要： 前言 Meta 研究者提出了一种改进思路，利用 SAM 的掩码图像预训练 (SAMI)。这是通过利用 MAE 预训练方法和 SAM 模型实现的，以获得高质量的预训练 ViT 编码器。这一方法降低了 SAM 的复杂性，同时能够保持良好的性能。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎 阅读全文

摘要： 前言 在医学成像和遥感等一些细粒度领域，多模态基础模型的性能往往不尽人意。因此，许多研究者开始探索这些模型的少样本适应方法，逐渐衍生出三种主要技术途径：1）基于提示的方法；2）基于适配器的方法；3）基于外部知识的方法。尽管如此，这一迅速发展的领域产生了大量结果，但尚无全面的综述来系统地整理研究进展。 阅读全文

摘要： 前言 智源研究院视觉团队推出以视觉感知为中心的基础模型 TAP (Tokenize Anything via Prompting), 利用视觉提示同时完成任意区域的分割、识别与描述任务。将基于提示的分割一切基础模型 (SAM) 升级为标记一切基础模型 (TAP) ，高效地在单一视觉模型中实现对任意区 阅读全文

摘要： 前言 本文介绍了一些简单的方法，可以将Python for循环的速度提高1.3到900倍。 本文转载自Deephub Imba 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程 阅读全文

摘要： 前言 本文提出了视觉 GUI Agent，使用视觉模态（而非文本）对 GUI 界面进行更全面直接的感知，从而做出规划和决策。对此，我们研发了多模态大模型 CogAgent，可接受 1120×1120 的高分辨率图像输入，不仅提升了通用视觉理解能力，还具备强大的 GUI Agent 能力。 本文转载自 阅读全文

摘要： 前言 NeurIPS 2023（Neural Information Processing Systems）神经信息处理系统大会是当前全球最负盛名的 AI 学术会议之一，将于 12 月 10 日在美国新奥尔良召开。官方信息显示，本届会议共有 12343 篇有效论文投稿，接收率为 26.1％，略高于 阅读全文