大模型中的VAE

俗称外挂模型,主要用于光影,色彩方面的加强

比如最常见的vae-ft-mse-840000-ema-pruned

下载地址 https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main

在大型神经网络模型中,VAE指的是变分自动编码器(Variational Autoencoder),是一种用于生成模型的神经网络结构。
VAE结合了自动编码器(Autoencoder)和概率推断的思想,通过学习数据的潜在表示来生成新的数据样本。
在VAE中,编码器将输入数据映射到一个潜在空间中的概率分布,通常假设这个分布是高斯分布。解码器则从这个潜在空间中的样本重构原始数据,
同时通过最大化生成数据的对数似然来优化模型。VAE通过最小化重构误差和潜在表示分布与先验分布之间的KL散度来实现训练。
VAE在生成模型中的作用主要包括数据压缩、特征学习和数据生成。通过学习数据的潜在表示,VAE可以实现对数据的有效压缩和表示,
同时可以学习到数据的特征。在生成新的数据样本时,VAE可以从潜在空间中采样并解码,生成具有相似特征的新数据。
在大型神经网络模型中,VAE通常用于学习数据的分布和特征表示,同时可以生成符合原始数据特征的新样本,广泛应用于图像、文本、音频生成等领域。
VAE的引入丰富了神经网络模型的生成能力,为生成式建模提供了重要的方法和技术支持。
posted @ 2024-05-14 18:02  朝阳1  阅读(10)  评论(0编辑  收藏  举报