星辰大海

摘要： ## 总览 原始的扩散模型训练及推理是在像素空间进行的，这将耗费大量的GPU和能量资源。为了缓解这一状况，作者提出了一种方案，将高分辨率图像的合成过程分解为两个过程：图像编解码和隐特征空间扩散。 - 图像编码器将像素空间中图像编码为隐特征latent code（生成过程不需要此步骤） - 扩散模型D 阅读全文

摘要： ## 数据收集细节 InstructGPT中数据收集是一个关键的过程，包括收集什么类型的数据、如何筛选标注人员等等。InstructGPT类型的数据是与InstructGPT三阶段训练相对应，而筛选标注人员，则是为了收集的数据质量更高。从下面数据收集细节可以看出为什么要进行标注人员筛选。 ### 标 阅读全文

摘要： 我用自己的话描述一遍DDPM加深理解，原文可参考苏剑林博客 https://spaces.ac.cn/archives/9119 ## 加噪过程 设 $\bf x_0$表示一张图片, 逐步在当前图片上添加微小噪音，经过T步得到T张中间图片，依次为 $\bf x_1, \bf x_2, \cdots, 阅读全文

摘要： ## 一般形式的EM算法 期望最大化算法或者EM算法是，求解具有潜在变量的概率模型的最大似然解的一种通用方法。这里给出一般形式的EM算法，并启发式地推导EM算法最大化了似然函数。 考虑一个概率模型，将其中所有的观测变量联合起来记为$X$, 将所有的与观测变量对应的潜在变量记为$Z$。联合概率分布$p 阅读全文

摘要： EM算法的目标就是找到具有潜在变量模型的最大似然解。设随机变量$x$的所有观测数据为$\{x_1, x_2, \cdots\}, x_i \in R^{d \times 1}$,所有这些数据用矩阵表示$X \in R^{n \times d}$,其中第i行就是前面集合中的第i个列向量的转置。类似地， 阅读全文

摘要： 期望最大化算法 上节中公式(9.17),(9.19),(9.22)给出了混合高斯分布模型，单个高斯参数均值、协方差，以及高斯分布的系数。 $$ \mu_k = \frac{\sum_{n=1}^{N} \gamma(z_{nk}) x_n}{\sum_{n=1}^{N} \gamma(z_{nk}) 阅读全文

摘要： ## 混合高斯 单一高斯模型无法应对如老忠实间歇喷泉这些实际的问题，而高斯混合模型提供了一类比单独的高斯分布更强大的概率模型。我们将高斯混合模型看成高斯分量的简单线性叠加，其公式为[注0]： $$ p(\mathbf x) = \sum_{k=1}^{K} \pi_{k} \mathcal N(\m 阅读全文

摘要： K均值聚类 我们现在考虑这个问题：寻找多维空间中数据点的分组或者聚类问题。假设有一个数据集 ${x_1, x_2, ... x_N}$，它是D维欧几里得空间中的随机变量 $\pmb x$的N次观测组成的。我们的目标是将数据集划分为K个类别。先假定K的值是给定的。 直观上讲，我们认为一组数据点中的一个 阅读全文

摘要： 多元高斯分布的概率密度函数如下： $\mathscr N(\bf{x} |\bf{\mu}, \Sigma) = \frac{1}{(2\pi)^{n/2}|\sigma|^{-1/2}}exp{{-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu) }}$ 其中，$\ 阅读全文

摘要： 高斯分布也称为正态分布，一元高斯分布可以写成如下形式： $\mathscr N(x|u,\sigma)=\frac{1}{\sqrt{2\pi}\sigma}exp{{-\frac{1}{2\sigma^2}(x-\mu)^2}}$ 高斯分布的均值是$\mu$、方差是$\sigma^2$,其函数图像 阅读全文