2016年3月12日
最笨的方法（3）
摘要： solver 计算梯度并实现参数更新由Solver::ComputeUpdateValue()完成，它用残差梯度和权重衰减一起得到最终梯度，当然是利用当前权值计算得到，最终的update存在blob类的diff中，Blob::Update方法做最终的update，到底谁做？ layers visio 阅读全文
posted @ 2016-03-12 22:44 糯米甜酒 阅读(67) 评论(0) 推荐(0)
stochastic gradient descent tricks
摘要： abstract：（SGD的S有可能不仅是指从训练集中随机生成minibatch，而是整体的优化思路改变了，不是GD那种选个初始点一条到走到黑的方式，“随机”有其他含义）bp只是专门针对神经网络的求导方法，sbp是SGD的神经网络版本。本文主要说明training set大的时候用SGD好。 （训练 阅读全文
posted @ 2016-03-12 21:49 糯米甜酒 阅读(438) 评论(0) 推荐(0)
不要把问题复杂化
摘要： 重要的是解决问题，而不是使用高逼格的方法。 在linux下改这个配置文件那个配置文件整这个命令行那个命令行，有一种我在做逼格很高的事情的自我满足感，但事实上，你知道你改配置文件是为了什么？关联到什么？命令行如何生效？不要陷进这种浮夸的虚荣感中。 最重要的是分析问题出在哪里，用尽可能简单的，大家都能接 阅读全文
posted @ 2016-03-12 11:26 糯米甜酒 阅读(204) 评论(0) 推荐(0)