文章分类 -  AI / 扩散模型

摘要：https://arxiv.org/abs/2212.09462 方法 语言的潜在扩散 给定一些自然语言，它可以表示为词汇\(V\)上的一个one-hot向量序列\(l\)。\(w∈R^{l \times |V| }\)。 BART的Encoder，\(E()\)将其映射到某个连续的潜在空间\(x\ 阅读全文

摘要：摘要 与图像相比，自然语言表现出更明显的顺序依赖性，并且大多数现有的语言模型都是用从左到右的自回归方法训练的。 AR-Diffusion确保右边token的生成依赖于左边生成的token。这是一种基于token位置变化的动态去噪。这样操作使得左侧的token比右侧的token经历更少的去噪步骤，从而 阅读全文

摘要： 阅读全文

摘要：8个数据  ![image](https://img2023.cnblogs.com/blog/2417 阅读全文

摘要：## token输入 pretrain_data_util.py  ![image](https://im 阅读全文

摘要： 在自然语言背景下，离散扩散模型都只使用替换操作（随机token或掩码token），以及词嵌入上的连续扩散 阅读全文