摘要：jensen不等式示意图： Jensen不等式： 阅读全文

摘要：神经网络的 三种正则化方法： 1，和线性回归正则化类似，,因为是多层结构，所以相应地正则化也为多层，假设一个两层的神经网络的正则化为： 2，第二种正则化的方法：Early Stopping，In machine learning, early stopping is a form of regularization used when a machine learningmodel (such... 阅读全文

摘要：ridgeregression可以用来处理下面两类问题：一是数据点少于变量个数；二是变量间存在共线性。当变量间存在共线性的时候，最小二乘回归得到的系数不稳定，方差很大。这是因为系数矩阵X与它的转置矩阵相乘得到的矩阵不能求得其逆矩阵，而ridgeregression通过引入参数lambda，使得该问题得到解决。在R语言中，MASS包中的函数lm.ridge()可以很方便的完成。它的输入矩阵X始终为nxp维，不管是否包含常数项。下面分别介绍包含和不包含常数项时的输出：当包含常数项时，该函数对y进行中心化，以y的均值作为因子；对x进行中心化和归一化，以x中各个变量的均值和标准差作为因子。这样对x和y 阅读全文

摘要：11 SMO优化算法（Sequential minimal optimization）转自http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.htmlSMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了。我拜读 阅读全文

摘要：今天做了下斯坦福的ML的ex1，包括两大部分：1，单变量线性回归2，多变量线性回归其中多变量线性回归部分相对于单变量线性回归，主要就多了关于feature的归一化处理，因为各种特征表示不同，可能数值想相差很大，因而需要归一化处理这里(ex1.pdf)的归一化处理为数值本身与该feature项的平均值之差除以该feature的标准差代码如下：function [X_norm, mu, sigma] = featureNormalize(X) X_norm = X; mu = zeros(1, size(X, 2)); sigma = zeros(1, size(X, 2)); % =... 阅读全文