PowerZZJ

摘要： 对比学习损失函数InfoNCE 在前文NCE损失函数将样本分为data和noise做二分类, InfoNCE将这种思想推广到多分类问题中, 使用Softmax形式推广, 我们回顾一下之前NCE的交叉熵损失函数, 在这里我们加上了负号, 让目标函数变成了损失函数, 如下公式所示: \[\mathcal 阅读全文

摘要： 对比学习损失函数NCE 对于特征相似还有一种理解视角, 就是互信息最大化, 也就是同一个物品不同视角下的特征之间的互信息应该最大化. 这一节将要推导的NCE和下一节将要推导的InfoNCE就是互信息的一种近似估计办法(也叫JSD估计), 为什么不直接计算下面公式展示的互信息了, 因为互信息的计算太过 阅读全文

摘要： 🔙对比学习总结 在对比学习入门中，我们了解了对比学习的来源、基本思想和处理步骤。在对比学习时间线的发展中我们了解了近年来论文概要。对比学习不是一种模型，也不是一种新的技术，而是一种思想，这种思想与模型无关，可以应用于各种模型，比如Transformer的训练过程中就有对比学习辅助。现在对比学习的研 阅读全文

摘要： 序列数据如何做对比学习 前文对比学习入门中我们介绍了图片的例子，在另一篇文章CPC中作者在音频数据上做对比学习，进一步所有序列数据都可以使用对比学习。为此我们在这篇文章中以一个简单的例子介绍序列数据如何做对比学习，方便大家理解CPC的原理，原文其实挺难理解的。 简单的例子 我们以语言序列（I lik 阅读全文

摘要： 对比学习入门 对比学习思想从2018年InstDist[1]论文中首次提出至今，在2020年左右达到繁盛，如今已经成为了几乎所有深度学习网络训练必备的一环。现如今的计算机视觉，文生图，多模态大模型中都得到了非常广泛地运用。对比学习作为一种无监督学习，不需要人工标签信息并且可以通过一系列数据增强方法扩 阅读全文

摘要： ddpm实际案例 1.选择一个数据集 我们使用一个10000个数据的二位坐标特征的S字母作为数据集 %matplotlib inline import matplotlib.pyplot as plt import numpy as np from sklearn.datasets import m 阅读全文

摘要： Denoising Diffusion Probabilistic Models[1] 《Denoising Diffusion Probabilistic Models》简称ddpm。扩散模型的里程碑式文章，简单来说，扩散模型包含两个过程： 前向过程（从右向左）：原始分布\(x_0\)不断加入噪声 阅读全文

摘要： ddpm损失函数 从本文开始正式介绍ddpm损失函数。在扩散模型推导前置中我们首次介绍了最大化似然的目标，通过逆向过程\(p\)计算\(x_0\)概率最大化就可以生成图片 \[\mathbb E[-\log p_\theta(x_0)]\le\mathbb E_q\left[-\log\frac{p 阅读全文

摘要： ddpm逆向过程推导 本文正式开始了ddpm逆向过程的推导，在逆向推导之前，我们将前一篇文章的推导结果做一个总结。 前文总结 我们目前已知前线过程\(q\) \[q(x_t|x_{t-1}):=\mathcal N(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_tI) \tag 阅读全文

摘要： ddpm加噪前向过程公式推导 前向过程\(q(x_t|x_{t-1})\)在论文中公式如下（见附件中的(2)） \[q(x_t|x_{t-1}):=\mathcal N(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_tI) \]根据前置知识中的重采样技巧，\(q\)的采样可以通 阅读全文