摘要：
到目前为止，笔者给出了生成扩散模型DDPM的两种推导，分别是《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼》中的通俗类比方案和《生成扩散模型漫谈（二）：DDPM = 自回归式VAE》中的变分自编码器方案。两种方案可谓各有特点，前者更为直白易懂，但无法做更多的理论延伸和定量理解，后者理论分析上 阅读全文
posted @ 2024-07-08 18:59
jasonzhangxianrong
阅读(308)
评论(0)
推荐(0)
摘要：
在文章《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼》中，我们为生成扩散模型DDPM构建了“拆楼-建楼”的通俗类比，并且借助该类比完整地推导了生成扩散模型DDPM的理论形式。在该文章中，我们还指出DDPM本质上已经不是传统的扩散模型了，它更多的是一个变分自编码器VAE，实际上DDPM的原论文 阅读全文
posted @ 2024-07-08 18:57
jasonzhangxianrong
阅读(468)
评论(0)
推荐(0)
摘要：
说到生成模型，VAE、GAN可谓是“如雷贯耳”，本站也有过多次分享。此外，还有一些比较小众的选择，如flow模型、VQ-VAE等，也颇有人气，尤其是VQ-VAE及其变体VQ-GAN，近期已经逐渐发展到“图像的Tokenizer”的地位，用来直接调用NLP的各种预训练方法。除了这些之外，还有一个本来更 阅读全文
posted @ 2024-07-08 18:56
jasonzhangxianrong
阅读(277)
评论(1)
推荐(0)
摘要：
在本系列的前面几篇文章中，我们已经从多个角度来理解了VAE，一般来说，用VAE是为了得到一个生成模型，或者是做更好的编码模型，这都是VAE的常规用途。但除了这些常规应用外，还有一些“小众需求”，比如用来估计$x$的概率密度，这在做压缩的时候通常会用到。 本文就从估计概率密度的角度来了解和推导一下VA 阅读全文
posted @ 2024-07-08 16:39
jasonzhangxianrong
阅读(136)
评论(0)
推荐(0)
摘要：
大家都知道，Transformer的$\mathscr{O}(n^2)$复杂度是它的“硬伤”之一。不过凡事有弊亦有利，$\mathscr{O}(n^2)$的复杂度也为Transformer带来很大的折腾空间，我们可以灵活地定制不同的attention mask，来设计出不同用途的Transforme 阅读全文
posted @ 2024-07-08 16:38
jasonzhangxianrong
阅读(305)
评论(0)
推荐(0)
摘要：
在《变分自编码器（五）：VAE + BN = 更好的VAE》中，我们讲到了NLP中训练VAE时常见的KL散度消失现象，并且提到了通过BN来使得KL散度项有一个正的下界，从而保证KL散度项不会消失。事实上，早在2018年的时候，就有类似思想的工作就被提出了，它们是通过在VAE中改用新的先验分布和后验分 阅读全文
posted @ 2024-07-08 16:36
jasonzhangxianrong
阅读(247)
评论(0)
推荐(0)
摘要：
前段时间公司组织技术分享，轮到笔者时，大家希望我讲讲VAE。鉴于之前笔者也写过变分自编码器系列，所以对笔者来说应该也不是特别难的事情，因此就答应了下来，后来仔细一想才觉得犯难：怎么讲才好呢？ 对于VAE来说，之前笔者有两篇比较系统的介绍：《变分自编码器（一）：原来是这么一回事》和《变分自编码器（二） 阅读全文
posted @ 2024-07-08 16:35
jasonzhangxianrong
阅读(101)
评论(0)
推荐(0)
摘要：
昨天早上，笔者在日常刷arixv的时候，然后被一篇新出来的论文震惊了！论文名字叫做《NVAE: A Deep Hierarchical Variational Autoencoder》，顾名思义是做VAE的改进工作的，提出了一个叫NVAE的新模型。说实话，笔者点进去的时候是不抱什么希望的，因为笔者也 阅读全文
posted @ 2024-07-08 16:34
jasonzhangxianrong
阅读(397)
评论(0)
推荐(0)
摘要：
本文我们继续之前的变分自编码器系列，分析一下如何防止NLP中的VAE模型出现“KL散度消失（KL Vanishing）”现象。本文受到参考文献是ACL 2020的论文《A Batch Normalized Inference Network Keeps the KL Vanishing Away》的 阅读全文
posted @ 2024-07-08 16:33
jasonzhangxianrong
阅读(223)
评论(0)
推荐(0)
摘要：
这是一篇“散文”，我们来谈一下有着千丝万缕联系的三个东西：变分自编码器、信息瓶颈、正态分布。 众所周知，变分自编码器是一个很经典的生成模型，但实际上它有着超越生成模型的含义；而对于信息瓶颈，大家也许相对陌生一些，然而事实上信息瓶颈在去年也热闹了一阵子；至于正态分布，那就不用说了，它几乎跟所有机器学习 阅读全文
posted @ 2024-07-08 16:32
jasonzhangxianrong
阅读(204)
评论(0)
推荐(0)
浙公网安备 33010602011771号