随笔分类 - 2.深度神经网络
摘要：传统方法中，如何衡量一个generator ？—— 用 generator 产生数据的 likelihood，越大越好。 但是 GAN 中的 generator 是隐式建模，所以只能从 P_G 中采样但没法根据 pdf 算 likelihood。 一个方法是把从 P_G 中采样得到的点当作是一个高斯
阅读全文
摘要：Improving Supervised Seq-to-seq Model 有监督的 seq2seq ，比如机器翻译、聊天机器人、语音辨识之类的 。 而 generator 其实就是典型的 seq2seq model ，可以把 GAN 应用到这个任务中。 RL(human feedback) 训练目
阅读全文
摘要：InfoGAN 期望的是 input 的每一个维度都能表示输出数据的某种特征。但实际改变输入的一个特定维度取值，很难发现输出数据随之改变的规律。 InfoGAN 就是想解决这个问题。在 GAN 结构以外，把输入 z 分成两个部分 c 和 z' ，然后根据 generated data x 来预测给到
阅读全文
摘要：Wasserstein GAN (WGAN) 在一些情况下，用 JS散度来衡量两个分布的远近并不适合： 1. 数据是高维空间中的低维流形（manifold），两个分布在高维空间中的 overlap 少到可以忽略。 2. 由于 sampling 的局限性，即使两个分布之间真的存在一定的 overlap
阅读全文
摘要：任务：想要找到一个高维空间中的分布 P_data(x)，要在目标类别的区域，采样的概率是高的；在那个区域之外，probability是低的。但这个P_data(x)分布的具体形式（pdf）是不知道的，GAN 就是要找到这个数据分布。 没有 GAN 怎么做生成？—— 极大似然估计 1. 从 P_dat
阅读全文
摘要：1. Basic idea 基本任务：要得到一个generator，能够模拟想要的数据分布。(一个低维向量到一个高维向量的映射） discriminator就像是一个score function。 如果想让generator生成想要的目标数据，就把这些真实数据作为discriminator的输入，d
阅读全文
摘要：自监督模型 训练一个ae的encoder，就能把code和object对应起来，获得code。给定一个code，decoder就能输出对应的object。 Autoencoder存在什么问题? 因为作为训练数据的object是有限的，导致decoder实际上只能把训练过程中见过的code给还原成对应
阅读全文
摘要：一、深度学习建模与调试流程 先看训练集上的结果怎么样（有些机器学习模型没必要这么做，比如决策树、KNN、Adaboost 啥的，理论上在训练集上一定能做到完全正确，没啥好检查的） Deep Learning 里面过拟合并不是首要的问题，或者说想要把神经网络训练得好，至少先在训练集上结果非常好，再考虑
阅读全文
浙公网安备 33010602011771号