Uncertainty Guided Collaborative Training for Weakly Supervised Temporal Action Detection概述

1.针对的问题

　　本文主要关注弱监督动作检测中基于注意力的方法存在的问题，作者认为，如果没有段级的ground-truth监督，注意力权重的质量会阻碍这些方法的性能。为了缓解这一问题，作者提出了一种新的不确定性引导的协作训练（UGCT）策略，该策略主要包括两个关键设计：（1）第一个设计是在线伪标签生成模块，其中RGB和光流协同工作，相互学习。（2） 第二个设计是一个不确定性感知学习模块，它可以减轻生成的伪标签中的噪声。

2.主要贡献

　　（1）提出了一种新的用于弱监督时序动作检测的不确定性引导协作训练（UGCT）策略，该策略可以显著提高基于注意力的方法的性能，而不会在测试过程中引入任何额外的计算开销。

　　（2） 使用三种基于注意力的方法在两个基准数据集上进行了综合实验，以评估所提出的训练策略的有效性，结果表明所提出的UGCT能够持续提高这些方法的性能。

3.方法

　　在线伪标签生成模块借鉴mean teacher方法，给定输入视频，将预提取的RGB和光流特征分别输入RGB模型，光流模型，RGB教师模型和光流教师模型。使用指数移动平均策略在每次训练迭代中整合网络权重，以更新教师模型，从而使得教师模型可以考虑历史信息，并提供更可靠的伪标签，RGB教师模型和光流教师模型输出注意力权重，通过对两个注意力权重使用二值化函数得到RGB流和光流的伪标签。RGB和光流是协同训练的，RGB流中的教师模型为光流提供伪标签，光流中的教师模型为RGB流提供伪标签。

　　不确定性感知学习模块借鉴贝叶斯深度学习，具体来说，通过一个不确定性预测模块来估计关于伪标签的不确定性，不确定性预测模块在训练后被移除，并且在测试期间不会带来任何额外的计算。

（a）是基于注意力的方法的典型框架。不确定性分支是训练策略中新增的，仅在训练期间使用。（b）提出了不确定性引导的协同训练策略。RGB和光流教师模型相互提供段级伪标签，这使得RGB和FLOW模型能够以协作的方式相互促进。预测的不确定性作为伪标签损失的衰减项，可以减少训练过程中伪标签噪声的负面影响。

 

mean teacher方法来自Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results这篇论文，教师模型的权重是学生模型权重的指数移动平均。

贝叶斯深度学习来自What uncertainties do we need in bayesian deep learning for computer vision这篇论文。