【对比学习】Causerec中的contrastive learning

在causerec这篇文章里面用到了contrastive learning的方法。

而contrastive learning是和generative method平行的用于自监督学习的另一种方法。

1. 方法：

将数据分成正样本与负样本在特征空间进行对比

2.难点：

构造正负样本

3.与generative method的区别：

contrastive learning是在特征空间对比，而generative是pixel-wise的对比。

4.损失函数表达式

 

 

其中x+代表与x相似的正样本，x-代表负样本。训练目的是学到一个f，使其尽可能让x与x+在特征空间接近，而与x-很远，相关文献一般称该损失函数为infoNCE loss。