仙守

摘要： 0. 背景 Junbo Zhao等人提出的“基于能量的GAN”网络，其将判别器视为一个能量函数而不需要明显的概率解释，该函数可以是一个可训练的损失函数。能量函数是将靠近真实数据流形的区域视为低能量区域，而远离的视为高能量区域。和“概率GAN”相似，训练中，生成器会尽可能生成最小能量时候的伪造样本，而 阅读全文

摘要： 0 背景 在这之前大家在训练GAN的时候，使用的loss函数都是sigmoid_cross_entropy_loss函数，然而xudon mao等人发现当使用伪造样本去更新生成器（且此时伪造样本也被判别器判为对的时候）会导致梯度消失的问题。虽然此时伪造样本仍然离真实样本分布距离还挺远。也就是之前的损 阅读全文

摘要： 0. 聚类步骤 为了完成一个聚类任务，必须遵循以下步骤： 特征选择：合适的选择特征，尽可能多的包含任务关心的信息，使得信息冗余减少和最小化是主要目标； 近邻测度：用于定量测量两个特征向量如何“相似”或“不相似”，这里需要注意让选中的特征都具有相同的近邻性，不能让某个或某些特征占支配地位； 聚类准则： 阅读全文

摘要： ###0.背景 Tim Salimans等人认为之前的GANs虽然可以生成很好的样本，然而训练GAN本质是找到一个基于连续的，高维参数空间上的非凸游戏上的纳什平衡。然而不幸的是，寻找纳什平衡是一个十分困难的问题。在现有的针对特定场景算法中，GAN的实现通常是使用梯度下降的方法去训练GAN网络的目标函 阅读全文

摘要： 引言中已经较为详细的介绍了GAN的理论基础和模型本身的原理。这里主要是研读Goodfellow的第一篇GAN论文。 ###0. 对抗网络 如引言中所述，对抗网络其实就是一个零和游戏中的2人最小最大游戏，主要就是为了处理下面的函数$V(G,D)$: 在实现过程中，如果将D和G都写入同一个循环中，即迭代 阅读全文

摘要： ###0.背景 通过对《tensorflow machine learning cookbook》第9章第3节"implementing_lstm"进行阅读，发现如下形式可以很方便的进行训练和预测,通过类进行定义，并利用了tf中的变量重用的能力，使得在训练阶段模型的许多变量，比如权重等，能够直接用在 阅读全文

摘要： ###0. 背景 通过阅读书籍《Pro Deep Learning with TensorFlow: A Mathematical Approach to Advanced Artificial Intelligence in Python》的第6章第4节的《Generative Adversari 阅读全文

摘要： ###0. 背景 ###1. CTC原理 图 CTC结构图 CTC是看似和HMM有些联系，然后也采用DP来进行求解，将CTC结构图中<RNN输出，CTC层>单独拿出来，得到如下形式： 图 用前向-后向算法计算CTC 上图如CTC结构图， 最开始只能以(-)或者标签序列中第一个字符开始，即这里的t=1 阅读全文

摘要： ###0.背景 这篇论文是2017年11月29号第一次提交到arxiv并紧接着30号就提交了V2版本的。 近些年DCNN模型在图像生成和修复上面表现很好，大部分人认为好的原因主要是由于网络基于大量的图片训练，从数据中获取了足够的信息，从而使得模型性能这么好。然而Dmitry Ulyanov等人的这篇 阅读全文

摘要： ###0.引言 我们发现传统的（如前向网络等）非循环的NN都是假设样本之间无依赖关系（至少时间和顺序上是无依赖关系），而许多学习任务却都涉及到处理序列数据，如image captioning，speech synthesis，music generation是基于模型输出序列数据；如time ser 阅读全文