摘要： 1. 知识点准备在了解 CNN 网络神经之前有两个概念要理解，第一是二维图像上卷积的概念，第二是 pooling 的概念。a. 卷积关于卷积的概念和细节可以参考这里,卷积运算有两个非常重要特性，以下面这个一维的卷积为例子：第一个特性是稀疏连接。可以看到， layer m 上的每一个节点都只与 lay... 阅读全文

摘要： MapReduce框架结构Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生... 阅读全文

摘要： 1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。2. 几个数学概念1) 梯度（一阶导数）考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山... 阅读全文

摘要： 转自：http://www.cnblogs.com/heaad/archive/2011/3/8.html 在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲... 阅读全文

摘要： 原文地址http://sobuhu.com/ml/2012/12/29/normalization-regularization.html正则化（Regularization）、归一化（也有称为正规化/标准化，Normalization）是对数据尽心预处理的方式，他们的目的都是为了让数据更便于我们的... 阅读全文

摘要： 转自：http://www.codelast.com/?p=2780在最优化领域，有几个你绝对不能忽略的关键词：拟牛顿、DFP、BFGS。名字很怪，但是非常著名。下面会依次地说明它们分别“是什么”，“有什么用” 以及 “怎么来的”。但是在进入正文之前，还是要先提到一个概念上的区别，否则将影响大家的理... 阅读全文

摘要： 转自：http://www.codelast.com/?p=8052牛顿法是最优化领域的经典算法，它在寻优的过程中，使用了目标函数的二阶导数信息，具体说来就是：用迭代点的梯度和二阶导数对目标函数进行二次逼近，把二次函数的极小点作为新的迭代点，不断重复此过程，直到找到最优点。『1』历史话说，牛顿法为什... 阅读全文

摘要： 转自：http://www.codelast.com/?p=8006最速下降法（又称梯度法，或Steepest Descent），是无约束最优化领域中最简单的算法，单独就这种算法来看，属于早就“过时”了的一种算法。但是，它的理念是其他某些算法的组成部分，或者说是在其他某些算法中，也有最速下降法的“影... 阅读全文

摘要： 转自：http://www.codelast.com/?p=8095共轭方向法是介于最速下降法和牛顿法之间的一种存在——它的收敛速度（二阶收敛）比最速下降法（线性收敛）快，同时它的计算量又比牛顿法要小，因此它的存在是有意义的。需要注意，共轭方向法可以不使用目标函数的一阶导数信息（当然也可以使用）。所... 阅读全文

摘要： 转自：http://www.codelast.com/?p=2573在最优化的领域中，这“法”那“法”无穷多，而且还“长得像”——名字相似的多，有时让人觉得很迷惑。在自变量为一维的情况下，也就是自变量可以视为一个标量，此时，一个实数就可以代表它了，这个时候，如果要改变自变量的值，则其要么减小，要么增... 阅读全文

摘要： 转自：http://blog.csdn.net/u010922186/article/details/43852707共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hess... 阅读全文

摘要： 转自：http://blog.csdn.net/luoleicn/article/details/6527049平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿... 阅读全文

摘要： 转自：http://www.cnblogs.com/emanlee/archive/2011/08/03/2126260.html二阶偏导数矩阵也就所谓的赫氏矩阵(Hessian matrix).一元函数就是二阶导，多元函数就是二阶偏导组成的矩阵.求向量函数最小值时用的，矩阵正定是最小值存在的充分条... 阅读全文

摘要： 转自：http://blog.csdn.net/xianlingmao/article/details/7712217Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting这些术语... 阅读全文