凯鲁嘎吉
用书写铭记日常,最迷人的不在远方

COMPLETER: 基于对比预测的缺失视图聚类方法

作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

    本文对COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction这篇文章进行讲解,由于论文思路及其数学推导相对简单,因此没把精力放在敲公式与论文复述上,大部分内容来自参考文献。这篇文章阅读前提可以看看变分推断与变分自编码器,所提跨视图对偶预测损失计算时可以参考变分自编码器部分,或者参考变分自编码器(二):从贝叶斯观点出发。所提跨视图对比学习损失需要知道概率论中的联合分布、边际分布与条件概率的定义与性质,互信息、信息熵与条件熵等相关知识,可参考[4][5]。更多多视图聚类,请看:随笔分类 - 聚类算法简介

    一般地,多视图/多模态表示学习(Multi-view Representation Learning, MvRL)旨在从多视图/模态数据中学习有效的表示,以改进聚类、分类、检索等下游任务的性能。现有多视图表示学习方法的成功都显式或隐式地要求数据满足视图“完备性”和“一致性”假设。其中“完备性”假设要求每一实例在所有的视图中均需存在,即要求数据是“完整的”;“一致性”假设则要求每一实例在所有的视图中均存在正确的对应关系,即要求数据是跨视图“对齐的”。当数据不满足任一假设时,大多数多视图学习方法,特别在无监督条件下,都难以学习到有效的表示。实际应用中,由于数据采集和传输过程的复杂性,数据可能会丢失部分视图,这就导致了信息不完备下的视图缺失问题。这篇论文针对具有缺失数据的多视图聚类问题进行研究。

基础补充:互信息I(X; Y)、信息熵H(X), H(Y)、联合熵H(X, Y)与条件熵H(X|Y), H(Y|X)之间的关系[4]。

1. 多视图学习背景

2. 论文创新点

3. 方法(以两个视图为例)

4. 思考

1) 本文所提的方法仅适用于两两视图之间学习,如果你的数据集的视图数为N,N>2,那就得进行N(N-1)/2次两两学习。

2) Z的大小是[样本个数*隐层维度],文中视为离散变量,但Q为什么使用的是高斯分布而不是伯努利分布?是否与Z离散矛盾?文中并未给出明确的解释。

此问题更新:

 (作者回复说假设Z是连续的,是我理解错了)

3) 最后聚类时是将所有视图得到的隐层表示连接在一起形成一个[样本个数*(隐层维度*视图数)]的矩阵进行聚类,用的第二种多视图学习方式,并没有对结果进行融合形成一个[样本个数*隐层维度]的统一特征表示,再进行聚类。

4) 虽然是老生常谈的问题,但还是想问一下,为什么最后对偶预测损失L只采样一次就能得到好结果?文中也并未提采样这个说法,而是直接给出结果。为什么协方差矩阵设置为对角阵(仅仅是方便计算)?

5. 参考文献

[1] Yijie Lin, Yuanbiao Gou, Zitao Liu, Boyun Li, Jiancheng Lv, Xi Peng*, COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun. 19-25, 2021.
Paper: https://openaccess.thecvf.com/content/CVPR2021/html/Lin_COMPLETER_Incomplete_Multi-View_Clustering_via_Contrastive_Prediction_CVPR_2021_paper.html
Code: https://github.com/XLearning-SCU/2021-CVPR-Completer

[2] CCF A类会议CVPR 2021论文收录结果出炉:我院在信息不完备下的多视图学习取得新的进展 https://sw.scu.edu.cn/info/1182/12482.htm

[3] 【VALSE论文速览-17期】基于对比预测的缺失视图聚类方法 https://www.bilibili.com/video/BV1Ub4y1a7Zy

[4] Chapter 2: Entropy and Mutual Information https://www.cs.uic.edu/pub/ECE534/WebHome/ch2.pdf

[5] X. Ji, A. Vedaldi and J. Henriques, "Invariant Information Clustering for Unsupervised Image Classification and Segmentation," 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 9864-9873, doi: 10.1109/ICCV.2019.00996.

[6] 类似论文:Yao-Hung Hubert Tsai, Yue Wu, Ruslan Salakhutdinov and Louis-Philippe Morency, Self-supervised Learning from a Multi-view Perspective, International Conference on Learning Representations, 2021.

posted on 2021-10-19 16:43  凯鲁嘎吉  阅读(616)  评论(0编辑  收藏  举报