随笔分类 -  DNN

深度神经网络
loss曲线不收敛
摘要：####Ref： https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/ 阅读全文
posted @ 2019-10-29 19:05 youqia 阅读(800) 评论(0) 推荐(0)
损失函数
摘要：目的： 根据标签值与预测值计算损失 交叉熵 $J = \sum\limits_{k}y_k\log{h_k}$ 信息熵可以用来表示信息的不确定程度 相对熵\(KL散度\)可以用来描述两个概率分布之间的差异 相对熵 = 交叉熵 信息熵 在信息熵固定的情况下，优化减小交叉熵也就是优化相对熵 又因为交叉熵 阅读全文
posted @ 2019-09-05 20:21 youqia 阅读(178) 评论(0) 推荐(0)
深度学习的组成
摘要：模型选择 网络结构 损失函数 交叉熵 参数初始化方法： Xavier_normal kaiming_normal 优化算法： SGD Adam https://zhuanlan.zhihu.com/p/32230623 学习率 正则化方法： dropout BN 训练： 迭代直到达到迭代次数 正向传 阅读全文
posted @ 2019-08-27 19:45 youqia 阅读(254) 评论(0) 推荐(0)
深度学习——概率图模型和吉布斯采样
摘要：Graphical model&Gibbs Sample 1.Graphical model a.贝叶斯网络 b.马尔科夫随机场 Factor Graph 阅读全文
posted @ 2019-06-15 20:14 youqia 阅读(623) 评论(0) 推荐(0)
auto-encoder小记
摘要：1.使用auto-encoder生成手写数字 2.中间code层使用二维向量，使用L2norm处理中间层数据 3.从[-1,1]的矩形框中等间隔选取100个坐标点 作为code值 最终生成图像 后期应该查看一下步骤2处理后的数据分布，因为正中间的点生成了四不像 阅读全文
posted @ 2019-03-21 20:14 youqia 阅读(128) 评论(0) 推荐(0)
CNN试验记录
摘要：CIFAR-10 图像处理:(预处理还是很重要的) 数据随机裁剪,填充0 依概率p水平翻转 1.VGG16 SGD lr=0.01 momentum 0.9 weight_decay=0.0001 epoch=25 batchsize=128 测试集正确率 90.4% 修改lr /= 10 epoc 阅读全文
posted @ 2019-03-11 19:36 youqia 阅读(233) 评论(0) 推荐(0)
GAN试验记录.
摘要：1.GAN目标函数不收敛,参数难调 2.数据集与生成集比例 3.生成四不像,模式崩塌 阅读全文
posted @ 2019-02-13 12:43 youqia 阅读(156) 评论(0) 推荐(0)
GAN 教程记录
摘要：目标：使G产生的分布sample出来接近D的分布 1.G产生的data是否是database中的图片 a.计算L1 L2相似度 2.GAN与其他生成器相比较,能够生成较为清晰的图片 3.一次iteration后D提升，G生成能混淆第一代D正确性的图片 阅读全文
posted @ 2019-02-12 16:43 youqia 阅读(246) 评论(0) 推荐(0)