随笔分类 - 弱监督动作定位论文总结
摘要:0.前言 相关资料: arxiv github 论文解读 论文基本信息: 领域:弱监督时序动作定位 发表时间:CVPR2022(2022.3.14) 1.针对的问题 许多现有的方法试图生成伪标签来弥补分类和定位之间的差异,但通常只使用有限的上下文信息,即每个片段内的信息,来生成伪标签。 2.主要贡献
阅读全文
摘要:0.前言 相关资料: arxiv github 论文解读 论文基本信息: 领域:弱监督时序动作定位 发表时间:CVPR2023(2023.5.1) 1.针对的问题 由于缺乏时间标注,当前的弱监督时间动作定位方法通常陷入over-complete或不完全定位。本文旨在从两个方面来利用文本信息来提升WT
阅读全文
摘要:0.前言 相关资料: paper github 论文解读 论文基本信息: 领域:弱监督时序动作定位 发表时间:WACV 2023(2023.2.6) 1.针对的问题 现有方法通常直接使用从预训练的提取器中提取到的片段级RGB和光流特征。由于片段的时间跨度短和初始特征不合适这两个方面的限制,这些WTA
阅读全文
摘要:1.针对的问题 在弱监督时序动作定位领域提出了一些帧监督的方法,但是由于标签稀疏性,现有的工作无法学习动作的完整性,动作预测零碎,导致在高IoU阈值的情况下表现较差。作者试图通过生成密集的伪标签,为模型提供完整性指导。 2.主要贡献 •引入了一个新的框架,其中生成了密集的最优序列,以在点监督设置下为
阅读全文
FTCL:Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization概述
摘要:0.前言 相关资料: arxiv github 论文解读 论文基本信息: 领域:弱监督时序动作定位 发表时间:CVPR2022(2022.3.31) 1.针对的问题 现有的方法主要遵循于通过优化视频级分类目标来实现定位的方式,这些方法大多忽略了视频之间丰富的时序对比关系,因此在分类学习和分类-定位自
阅读全文
摘要:0.前言 相关资料: arxiv github 论文解读 论文基本信息: 领域:弱监督时序动作检测 发表时序:ECCV2022(2022.7.17) 1.针对的问题 现有的方法在推断时只能识别之前见过的类别,即训练时出现过的类别,而为每个感兴趣的类收集和注释大型训练集是昂贵的。 2.主要贡献 (1)
阅读全文
摘要:1.针对的问题 由于只有视频注释,大多数现有方法寻求通过由分类进行定位的框架来进行时序动作定位,该框架通常采用选择器来选择动作的高概率片段或前景。然而,现有的前景选择策略存在只考虑前景与动作之间的单向关系这一主要局限,不能保证前景动作的一致性。换言之,它们只利用了前景必须是动作这一先验知识。一个可能
阅读全文
摘要:1.针对的问题 目前大多数弱监督动作定位方法通常依赖于分离前景和背景区域(前-背景分离)学习TCAMs,但是在弱监督设置下,学习到的TCAM会存在噪声,而这些方法并没有明确地处理其噪声输出。 2.主要贡献 •引入了一个判别损失项,它同时进行视频分类和增强的前背景分离。 •引入去噪损失项来提高TCAM
阅读全文
摘要:0.前言 相关资料: paper 网站 论文解读(知乎,CSDN) 论文基本信息: 领域:弱监督动作定位 发表时间:ICCV2017 1.针对的问题 大多数网络只识别图像最具有鉴别力的部分,不是所有相关的部分,导致性能不佳。 2.主要贡献 1)引入了弱监督定位的Hide-and-Seek思想,并在I
阅读全文
摘要:0. 前言 相关资料: arxiv github 论文解读1,论文解读2 论文基本信息: 领域:弱监督时序行为定位 发表时间:AAAI 2020(2019.11.22) 1.针对的问题 弱监督视频动作定位中,这篇论文之前的方法聚合帧级别的类分数,以产生视频级别的预测并从视频级别的动作中学习。此方法无
阅读全文
摘要:0.前言 相关资料: 论文 github 论文解读(CSDN) 论文基本信息: 领域:动作识别与检测 发表时间:CVPR2017(2017.5.22) 1.针对的问题 这篇论文之前的行为识别方法严重依赖于修剪过的视频数据来训练模型,然而,获取一个大规模的修剪过的视频数据集需要花费大量人力和时间。 2
阅读全文
摘要:0.前言 相关资料: 论文 github 论文解读 论文基本信息: 领域:弱监督时序动作定位综述 更新时间:ACM MM2019(2019.8.7) 1.针对的问题 大多数现有的框架依赖于类激活序列(CAS),通过最小化视频级的分类损失来定位动作,它利用了动作中最具判别性的部分,但忽略了次要区域,具
阅读全文
摘要:1.针对的问题 在没有帧级注释的情况下,W-TAL方法很难识别假阳性的动作建议,并生成具有精确时间边界的动作建议。具体来说,之前的W-TAL方法所面临的最关键的问题之一是缺乏排除假阳性动作建议的能力。如果没有帧级注释,它们会定位不一定与视频级标签对应的动作示例。例如,模型可能仅通过检查场景中是否存在
阅读全文
摘要:1.针对的问题 之前的WS-TAL方法大多使用片段预测来形成视频类分数,然后优化视频分类损失。在此过程中,片段预测(或片段注意力权重)用于分离前景和背景。然而,片段预测通常是不准确的,因为没有帧级标签,导致整体性能受到阻碍。 2.主要贡献 •考虑到邻近片段在WS-TAL任务中的关键作用,作者提出了一
阅读全文
摘要:1.针对的问题 传统的方法主要侧重于前景和背景帧的分离,只有单一的注意力分支和类激活序列。然而,作者认为,除了独特的前景和背景帧外,还有大量语义模糊的动作语境帧。将这些上下文帧分组到同一个背景类是没有意义的,因为它们在语义上与特定的动作类别相关。 2.主要贡献 •与之前将视频帧仅划分为前景帧和背景帧
阅读全文
摘要:1.针对的问题 本文主要关注弱监督动作检测中基于注意力的方法存在的问题,作者认为,如果没有段级的ground-truth监督,注意力权重的质量会阻碍这些方法的性能。为了缓解这一问题,作者提出了一种新的不确定性引导的协作训练(UGCT)策略,该策略主要包括两个关键设计:(1)第一个设计是在线伪标签生成
阅读全文
摘要:1.针对的问题 在弱监督动作定位领域,这篇论文之前的方法没有明确利用视频片段之间的相似性来进行定位和分类预测,但是作者认为,在没有帧级标注的情况下,弱监督系统必须依赖视频时序段之间的相似性提示。具体来说,必须(1)利用不同动作类别的前景片段之间的差异来正确分类视频;(2) 使用相同动作的前景片段之间
阅读全文
摘要:0.前言 相关资料: arxiv code 论文翻译(翻译1,翻译2) 论文基本信息: 领域:弱监督时序动作定位 发表时间:CVPR2018(2018.4.3) 1.针对的问题 这篇论文前的许多视频理解技术都依赖于修剪过的视频作为输入,然而,现实世界中的大多数视频都是未修剪的,包含大量与目标动作无关
阅读全文
摘要:1.针对的问题 目前的弱监督动作定位方法表现出两个显著的趋势: (1) 动作背景建模。通过分别学习视频级别的动作和视频的背景表示,可以提高动作定位性能,然而,视频级建模只能捕获粗粒度的描述。对动作的内在特征进行深入分析的研究较少。 (2) 探索外部资源。为了弥补弱监督带来的有限信息,借助外部资源已成
阅读全文
摘要:1.针对的问题 之前的SF-Net虽然也使用了单帧监督进行动作定位,但是标注的单帧是动作帧,作者通过研究发现,SF-Net中的大部分定位错误来自背景帧,同时,已有的方法已经能够较为准确地找出动作帧,所以作者认为标注背景帧可能是更好的选项。 2.主要贡献 •提出对时序动作定位任务进行背景点击监督。与现
阅读全文

浙公网安备 33010602011771号