摘要：
我们有3个参数 人能得出的精度:a 训练集精度 :b 验证集精度 :c 如果 a: 100% b: 90% c: 87% 也就是说a，b相差太多，那么说明神经网络拟合的还不够 那就参加高偏差的方法去解决 如果 a: 90% b: 88% c: 80% 也就是说b, c相差太多，那么说明神经网络过拟合 阅读全文
posted @ 2018-04-27 00:02
shensobaolibin
阅读(258)
评论(0)
推荐(0)
摘要：
训练集：训练数据 验证集：得出模型的精度等一系列数据用于改进模型 测试集：得到模型的精度等一系列数据用于发表论文等。。。 如果数据量比较小可以把验证集和测试集合并 一般来说 验证集和测试集各1k个样本就够了 其他的全部丢到训练集去吧 比如我们现在要训练猫的分类器 然后我们有一个app，模型的最终目标 阅读全文
posted @ 2018-04-26 23:52
shensobaolibin
阅读(269)
评论(0)
推荐(0)
摘要：
对于模型，最重要的就是两个东西 查准率：模型输出为ai中真的是ai的个数 / 模型中输出为ai的个数 查全率：模型中输出为ai的个数 / 真的为ai的个数 那么就想小时候判断运动员成绩的极值和方差一样 我们有时无法判断模型的好坏 那么我们就要用一个单一的指标去评价模型的好坏 设查准率为a， 查全率为 阅读全文
posted @ 2018-04-26 23:46
shensobaolibin
阅读(619)
评论(0)
推荐(0)
摘要：
这是为了解决深层神经网络梯度消失的问题 因为随着训练的进行，我们每一层的网络输出会逐渐两极分化 比如使用的是tanh激活函数，到最后就会使偏导几乎等于0，网络的训练时间过长 我们可以把每一层的输出看做符合N(u, alaph)的正态分布 如果我们能将这一层的正太分布改为符合N(0,1)就很舒服了 Z 阅读全文
posted @ 2018-04-26 23:27
shensobaolibin
阅读(169)
评论(0)
推荐(0)
摘要：
我们一般认为神经网络会有局部最优解 就像三维中的坑洞一样，可能使我们的神经网络陷进去就出不来了 其实不是这样的 可以看到，我门的loss其实是一个多维的神经网络 那么对于第i维，我可以大致的认为在这一维，他上升或下降的概率均为0.5 我们知道，如果要形成坑洞的话，我们在这个区域上的所有点的梯度都必须 阅读全文
posted @ 2018-04-26 23:17
shensobaolibin
阅读(639)
评论(0)
推荐(1)
摘要：
MINI-BRATCH 这个就是把一个大训练集分成几个小训练集去训练 主要原因，，，，是因为训练集太大，显存塞不下 这样的话，loss会有一定波动，就是有时上升，有时下降，但总体趋势是下降的 最后精度上升到一个值后，训练很多次都没有上升，训练完成 动量梯度下降： 简单来说就是在训练一整个训练集的时候 阅读全文
posted @ 2018-04-25 21:21
shensobaolibin
阅读(269)
评论(0)
推荐(0)
摘要：
正则化输入就是把我们输入的X中的值给归一到0附近 比如我的输入是一张图片，也就是h * w * 3 的矩阵 那么我可以把其中的每个数 x - 120再除以120，使得我们输入的值围绕在原地附近 这样做的原因是，我们的learning_rate是固定的，对于一切的w,b都是同一个learning_ra 阅读全文
posted @ 2018-04-25 20:09
shensobaolibin
阅读(181)
评论(0)
推荐(0)
摘要：
训练神经网络时，我们会有一个训练集，一个测试集，人在这件事上几乎是不会出错的 当训练集精度为99%，而测试集精度为90%时 这时就是出现了过拟合，我们称他为方差较高 当训练集精度为85%，测试集精度也为85%时 这就是拟合的不好，我们称他为高偏差 为了之后表达方便我称训练集精度为a，测试集精度为b 阅读全文
posted @ 2018-04-25 17:39
shensobaolibin
阅读(1465)
评论(0)
推荐(0)
摘要：
将内容为char的list拼接在一起形成一个字符串 输出为a-b-c，那么我们只要将str改为''即可 阅读全文
posted @ 2018-02-28 09:23
shensobaolibin
阅读(151)
评论(0)
推荐(0)
摘要：
自己在搞深度学习的时候发现negdata图片是50*50的,posdata图片是20*20的，想统一成20*20的 于是就决定写一个脚本搞定他 记得以前群里有个人问有没有可以批量压缩图片的软件 下什么软件呀 直接自己写脚本 （莫名感觉自己好厉害 阅读全文
posted @ 2018-02-20 16:48
shensobaolibin
阅读(420)
评论(0)
推荐(0)
浙公网安备 33010602011771号