Physcalの大魔導書

摘要： Reference：ADADELTA: An Adaptive Learning Rate Method 超参数 超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。 神经网络经典五大超参数: 学习率(Leraning Rate)、权值初始化( 阅读全文

摘要： 来源 偶然翻了一下微博，发现了@爱可可-爱生活老师转的，Hinton教授今年六月末在剑桥的一个讲座。 视频度娘链接：http://pan.baidu.com/s/1eQjj0rS 整个讲座前半部分基本在回顾DL目前的几个成就：RBM、DNN、CNN、RNN、Dropout 以及在CV、NLP、Spe 阅读全文

摘要： 机器学习编年史这几年机器学习火热，很大程度上是由于深度学习分支给机器学习送入了大量新鲜活力。统计学家说：“我概率统计理论，我来讲！" （代表 Leonard E. Baum [隐马尔科夫模型])数学家说：“我有严谨数学证明，我来讲！” （代表 Vapnik [SVM支持向量机])神经计算&计算机科学... 阅读全文

摘要： 自剪枝神经网络 Simple RNN从理论上来看，具有全局记忆能力，因为T时刻，递归隐层一定记录着时序为1的状态 但由于Gradient Vanish问题，T时刻向前反向传播的Gradient在T-10时刻可能就衰减为0。 从Long-Term退化至Short-Term。 尽管ReLU能够在前馈网络 阅读全文

摘要： Reference: Alex Graves的[Supervised Sequence Labelling with RecurrentNeural Networks]Alex是RNN最著名变种，LSTM发明者Jürgen Schmidhuber的高徒，现加入University of Toront... 阅读全文

摘要： 算法设计：基数排序CUDA程序里应当尽量避免递归，因而在迭代排序算法里，基数排序通常作为首选。1.1 串行算法实现十进制位的基数排序需要考虑数位对齐问题，比较麻烦。通常实现的是二进制位的基数排序。整体思路：与当前位做AND运算，按照0.....1的顺序重置序列，直到所有位迭代完毕。sort_tmp数... 阅读全文

摘要： 算法设计：直方图统计直方图频数统计，也可以看成一个字典Hash计数。用处不是很多，但是涉及CUDA核心操作：全局内存、共享内存、原子函数。1.1 基本串行算法这只是一个C语言练习题。#define MAXN 1005#define u32 unsigned int__host__ void coun... 阅读全文

摘要： 为什么需要GPU 几年前我启动并主导了一个项目，当时还在谷歌，这个项目叫谷歌大脑。该项目利用谷歌的计算基础设施来构建神经网络。 规模大概比之前的神经网络扩大了一百倍，我们的方法是用约一千台电脑。这确实使深度学习取得了相当大的进展。用到相当多的 计算机。不久之后我发现，之前我并没意识到，用一千台电脑是 阅读全文

摘要： 序Word2Vec原生是不支持Windows的，索性就用Qt移植了一下。大概做了下面几件事。①替换LinuxAPI的pthread为QThread。②取消了posix_memalign()，内存对齐这玩意据说是编译器的活，不知道Mikolov为什么写出来，难道说源码是Google万能工程师+编译器高... 阅读全文

摘要： Reference：http://blog.csdn.net/itplus/article/details/37969519 （Word2Vec解析（部分有错））源码：http://pan.baidu.com/s/1o6KddOIWord2Vec中的Coding技巧1.1 ReadWord()训练语... 阅读全文