摘要：
之前神经网络火过一段时间，但是后来又淡出了，后来又火了，尤其是到2012年真的像发水一样。之前为什么不火了呢，因为人们发现网络浅了吧，没什么优势。网络深了吧，又会出现vanishing gradient，无法训练。看文章也没看到有特别提到为什么现在又能训练了。调研了一下，是因为几个原因吧。1. 现在... 阅读全文
摘要：
转自：http://weibo.com/p/1001603816330729006673说明：这个翻译应该是来自原文：http://yyue.blogspot.hk/2015/01/a-brief-overview-of-deep-learning.html翻译网上的哈，我觉得有很大一部分从没看到过... 阅读全文
摘要：
昨天下午在单位从新推导了一遍fp和bp。在整个网络的训练中，最关键的就是计算残差。最后一层残差很容易，那么前面每一层的残差怎么计算呢？总体来说，有多少权重就需要多少残差项来进行权重更新。每个权重系数的残差是和后面一层的残差关联的，怎么关联呢？ 阅读全文
摘要：
1. 从头推导fp和bp2. 从头推导lstm 阅读全文
摘要：
JuergenSchmidhuber 是瑞士的一位牛人，主要贡献是rnn, lstm。google的deep mind新作，Human-level control through deep reinforcement learning一文出来，这位大神表达了不满。原因就是文章中提到说他们是第一次实现... 阅读全文
摘要：
The visual attention mechanism may have at least the following basic components [Tsotsos, et. al. 1995]:(1) the selection of a region of interest in t... 阅读全文
摘要：
http://nikhilbuduma.com/2015/01/11/a-deep-dive-into-recurrent-neural-networks/按照这里的介绍，目前比较火的cnn是feed-forward的网络，而rnn是back projections。lstm则是rnn的一种特例。r... 阅读全文
摘要：
零零星星挖坑几个了，都没填土，实在是欠账太多，闲话少说吧，还是多记录总结一下。今天的主题是围绕convolution和加速记得之前看过lecun他们组的一篇文章，是fft加速convolution的。按照Convolution Theorem，时域上的卷积可以转成空间域的傅立叶变换进行。lecun的... 阅读全文
摘要：
最近打算总结一下这部分东西，先记录留个脚印。 阅读全文
摘要：
因为想把样本筛选一下，所以简单的分类器先跑了一下，没想到跑完分类器在对样本筛选时的时间大大超过了样本进分类器的时间，这个显然不能达到我要的节省时间目的。于是分析了一下matlab中各个环节的时间成本，一看吓一跳，循环中对矩阵操作，尤其是对矩阵中很多行置空的操作直接让时间爆掉。可是反过来一想，我其实想... 阅读全文