论文阅读 | Context Encoder

开山作 | Context Encoder

UCB CVPR’16

Basis

1. 独立评估了编码器和解码器
2. 通过微调 Encoder，该工作可被用于多种图像理解任务，如分类、目标检测、语义分割
3. 提到，该工作是首个参数化的语义填充算法
4. 提到，该工作可被作为一个视觉特征，用于在非参数化方法中计算近邻（？）
5. context encoder 是 auto encoder 的变种。

Implemention

1. 编解码器。常规 Conv + ReLU 的自编码器结构。
2. 连接层。由于卷积层中信息无法从特征图的一个角落直接传播到另一个角落，所以编解码器之间用分组全连接层连接，以传递 全局信息。
3. 损失函数。分成“保持一致性”（L2）和“最合适的分布”（GAN-Based）两部分。前者比较容易达到，因为是欠定问题，容易满足约束。\(\ell_2\) 的形式看着很花哨，实际就是 \(\|x - \hat{x}\|_2\)
4. 掩码生成策略。随机位置 + 随机形状，避免网络学习到掩码的固定信息。

Details

1. Pool-free. 这个任务不需要池化层，使用全卷积效果更优。