MoCo阅读

 

引言

 

 

1. 基于负例对比学习：Moco MocoV2 MocoV3 SimCLR SimCLRV2
2. 基于聚类的对比学习：以SwAV为代表，也是上下分支对称结构。
3. 使用正例：其中一个代表模型BYOL，上分枝被称为Online，下分枝被称为Target，结构不对称；
4. 更换了一个损失函数：代表模型是Barlow Twins，使用正例，结构对称，更换了损失函数

SimCLR

MoCo v2

 

 

 

 

笔记

Loss functions（目标函数）

也就是学习目标。这里主要说无监督的模型

生成式网络

衡量原图和模型生成的图之间的差异。（重建整张图）

判别式网络

判断九宫格图像块之间的位置，比如中间图像块周围的8个位置。（预测位置）

对比学习

让相似物体图像拉的特别近，不相似物体图像之间尽可能拉的远。（与上面两种最大的不同是，上面两种目标是固定的，对比学习目标不固定）

对抗学习

衡量两个概率分布之间的差异

代理任务（Pretext tasks）

• 重建整张图（denoising auto-encoders）
• 重建某个patch（context auto-encoders）
• 图片上色（cross-channel auto-encoders (colorization)）
• 生成伪标签
• 九宫格方法，预测方位or预测顺序
• 利用视频信息做tracking
• 聚类
• 个体判别（instance discrimination）

　对比学习的代理任务（个体判别）就是使用数据增强，得到的同一张图片的数据增强尽可能在超球上靠的比较近，不是同一张靠的特别远。