0824 每日文献阅读 打卡

 

 

Read Data: 0824	Publication: CVPR 2021
Title: Where and What? Examining Interpretable Disentangled Representations Participants: Xinqi Zhu, Chang Xu, Dacheng Tao
Aim: 可解释性很少用在无监督环境下。	Research Question: 能否在没有监督的情况下加强表示的可解释性。它取决于如何定义目标解决方案。在人类对概念的定义中存在一些普遍的偏差，这些偏差可以被用来启发模型，引导它选择一个更易于解释的表征，而不是一个不可解释的表征。   本文研究两个问题一个是空间限制；一个是感知简单。对于第一个，设计了一个模块来限制生成过程中特定区域中的每个潜在代码对特征图的影响。对于第二个问题，设计了一个损失，使模型沿着每个潜在维度嵌入简单的数据变化。
Method: 本文通过研究在哪里被解释和什么被解释两个问题，来检查解耦表示的可解释性，提出学习一个空间掩码来定位每个个体潜在维度的影响。第二，可解释性通常是低维度，在潜码的某个维度上施加扰动，并期望从生成的图像中识别沿着这个维度的扰动，以便对简单差异进行编码。第三，本文开发了一种无监督的模型选择方法，沿着潜在空间的轴累计感知距离分数。
Results: 1、展示了所有模型的激活潜在维度数(激活维度由TPL决定，没有监督)阈值计算出的Spearman等级相关得分。将文中模型与模型TC-VAE上的UDR无监督度量进行了比较。本文的方法与监督度量，特别是DCI和MIG有更好的相关性。图4可以观察到明显的下降趋势，表明TPL对模型的大致排序是正确的。 2、表2显示了本文模型与提供的多个基线之间的定量比较，使用相同的度量标准知觉路径长度(PPL)和Frechet Inception距离(FID)，明显优于基线。定性地比较了HP基线和我们的模型在cleverr - simple数据集上的表示。图6中，展示了模型在Shoes+Edges数据集上以单个潜在维度编码领域概念，只需要在表示中反转这个维度的符号就可以实现这样的域移位。 3、表3我们评估了提出的PS和SC模块的有效性。表4显示了消融研究。我们看到λ = 0.01对于两个数据集通常是一个很好的选择，而当它增加到0.1时，两个模型的生成能力都出现退化。 4、在表5中，我们比较了在DSprites和3DShapes合成数据集上使用连续潜码训练的最先进的模型。			Discussion:
Conclusion: 基于可解释性通常来自局部和简单变化的观察，我们提出通过直接从这两个角度建模可解释性作为代理来学习解耦表示。我们采用了两个假设，空间限制和知觉简单，来构建我们的模型。我们设计了一个模块，将每个潜在维度的影响限制到压缩的子区域中，并减少沿潜在轴对简单变化进行编码的损失。我们还介绍了一种简单的无监督模型选择方法，通过量化沿潜在轴累积的知觉变化。在不同数据集上的实验验证了所提出的模块和模型选择方法的有效性。		Further: 尽管我们的工作是作为一种独立的方法来学习解耦的表征，但它应该与其他假设(如统计独立性)一起工作，以达到提高性能的目的，我们将这一探索留给未来的工作。
Ref: