有梦就要去实现他

2017年8月16日

摘要：首先明确的是self只有在类的方法中才会有，独立的函数或方法是不必带有self的。self在定义类的方法时是必须有的，虽然在调用时不必传入相应的参数。 __init__中self有一部分是从外面传来的参数，需要实例化时就传入类中self带的参数相当于类的属性，没带的是局部变量，可能是类的局部变量，阅读全文

posted @ 2017-08-16 21:00 有梦就要去实现他阅读(274) 评论(0) 推荐(0)

2017年8月15日

数据归一化、标准化

摘要： batch normalization是对每个batch的数据在每一层进行z-score标准化，z-score标准化相当于让数据符合标准正态分布归一化： 1、把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。2、把有量纲表达式变为无量纲表达式阅读全文

posted @ 2017-08-15 17:28 有梦就要去实现他阅读(883) 评论(0) 推荐(0)

各种分布（distribution）

摘要：正态分布(Normal distribution)，又名高斯分布(Gaussian distribution)。若随机变量X服从一个数学期望为μ、方差为σ^2(标准差为σ)的正态分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ 阅读全文

posted @ 2017-08-15 15:48 有梦就要去实现他阅读(2624) 评论(0) 推荐(0)

一篇有关调参的文章（很好，很重要）

摘要： http://russellsstewart.com/notes/0.html https://zhuanlan.zhihu.com/p/20792837 阅读全文

posted @ 2017-08-15 14:08 有梦就要去实现他阅读(218) 评论(0) 推荐(0)

momentum公式

摘要： momentum对于w的更新公式： http://caffe.berkeleyvision.org/tutorial/solver.html 阅读全文

posted @ 2017-08-15 14:03 有梦就要去实现他阅读(470) 评论(0) 推荐(0)

2017年8月4日

剑指offer24 二叉搜索树的后序遍历序列

摘要：自己写的更简洁的代码考虑两种边界条件，没有左子树，没有右子树。阅读全文

posted @ 2017-08-04 15:32 有梦就要去实现他阅读(174) 评论(0) 推荐(0)

2017年8月2日

faster rcnn

摘要：关于anchor的问题：这里在详细解释一下:(1)首先按照尺度和长宽比生成9种anchor,这9个anchor的意思是conv5 feature map 3x3的滑窗对应原图区域的大小.这9个anchor对于任意输入的图像都是一样的，所以只需要计算一次. 既然大小对应关系有了，下一步就是中心点对应关阅读全文

posted @ 2017-08-02 23:21 有梦就要去实现他阅读(398) 评论(0) 推荐(0)

2017年7月30日

batchsize对收敛速度的影响

摘要：想象一下，当mini-batch 是真个数据集的时候，是不是就退化成了 Gradient Descent，这样的话，反而收敛速度慢。你忽略了batch 增大导致的计算 batch 代价变大的问题。如果盲目增大mini-batch size 确实是迭代次数减少了，但是计算时间反而会增加，因为每次计算代阅读全文

posted @ 2017-07-30 18:59 有梦就要去实现他阅读(3774) 评论(0) 推荐(0)

mini_batch GD

摘要：工作过程：训练总样本个数是固定的，batch_size大小也是固定的，但组成一个mini_batch的样本可以从总样本中随机选择。将mini_batch中每个样本都经过前向传播和反向传播，求出每个样本在每一层每个神经元关于w和b的梯度。注意：同一个mini_batch中所有样本经过网络时，网络的参数阅读全文

posted @ 2017-07-30 18:57 有梦就要去实现他阅读(307) 评论(0) 推荐(0)

dropout

摘要： https://zhuanlan.zhihu.com/p/23178423 从这个总结看的出来，用sgd时，是每个mini_batch更新一次dropout，并且前向和反向传播都是会在经过dropout处理后的神经元上进行。比如这一层有10个神经元，有5个神经元停止工作，那前向和反向都会在另外5个神阅读全文

posted @ 2017-07-30 18:13 有梦就要去实现他阅读(249) 评论(0) 推荐(0)

公告