machine learning

摘要： caffe里面，原来以为是不可以随便调整学习率的，现在看来是可以的。base_lr是适用于所有层的学习率，而针对单个层，可以通过增加两个blobs_lr,用来调整该层的学习率，为什么是两个呢，因为一个调整weight的学习率，一个是调整偏执b的学习率。那么该层的学习率就变成了，base_lr*blo... 阅读全文

摘要： 之前神经网络火过一段时间，但是后来又淡出了，后来又火了，尤其是到2012年真的像发水一样。之前为什么不火了呢，因为人们发现网络浅了吧，没什么优势。网络深了吧，又会出现vanishing gradient，无法训练。看文章也没看到有特别提到为什么现在又能训练了。调研了一下，是因为几个原因吧。1. 现在... 阅读全文

摘要： 转自：http://weibo.com/p/1001603816330729006673说明：这个翻译应该是来自原文：http://yyue.blogspot.hk/2015/01/a-brief-overview-of-deep-learning.html翻译网上的哈，我觉得有很大一部分从没看到过... 阅读全文

摘要： 昨天下午在单位从新推导了一遍fp和bp。在整个网络的训练中，最关键的就是计算残差。最后一层残差很容易，那么前面每一层的残差怎么计算呢？总体来说，有多少权重就需要多少残差项来进行权重更新。每个权重系数的残差是和后面一层的残差关联的，怎么关联呢？ 阅读全文

摘要： 1. 从头推导fp和bp2. 从头推导lstm 阅读全文

摘要： JuergenSchmidhuber 是瑞士的一位牛人，主要贡献是rnn, lstm。google的deep mind新作，Human-level control through deep reinforcement learning一文出来，这位大神表达了不满。原因就是文章中提到说他们是第一次实现... 阅读全文

摘要： The visual attention mechanism may have at least the following basic components [Tsotsos, et. al. 1995]:(1) the selection of a region of interest in t... 阅读全文

摘要： http://nikhilbuduma.com/2015/01/11/a-deep-dive-into-recurrent-neural-networks/按照这里的介绍，目前比较火的cnn是feed-forward的网络，而rnn是back projections。lstm则是rnn的一种特例。r... 阅读全文

摘要： 零零星星挖坑几个了，都没填土，实在是欠账太多，闲话少说吧，还是多记录总结一下。今天的主题是围绕convolution和加速记得之前看过lecun他们组的一篇文章，是fft加速convolution的。按照Convolution Theorem，时域上的卷积可以转成空间域的傅立叶变换进行。lecun的... 阅读全文

摘要： 最近打算总结一下这部分东西，先记录留个脚印。 阅读全文