摘要： http://songshuhui.net/archives/76501http://songshuhui.net/archives/77386 正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。 正态分布是自然科学与行为科学中的定量现... 阅读全文

摘要： 离散分布0-1分布(伯努利分布)它的分布律为：\[P\{X=k\}=p^k(1-p)^{1-k}, k=0,1, (00\]泊松分布记作：\(X \sim \pi(\lambda)\)\[\sum\limits_{k=0}^{\infty}P\{X=k\}=\sum\limits_{k=0}^{\infty}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda... 阅读全文

摘要： 指数分布族前面学习了线性回归和logistic回归。我们知道对于\(P(y|x;\theta)\)若y属于实数，满足高斯分布，得到基于最小二乘法的线性回归,若y取{0,1}，满足伯努利分布，得到Logistic回归。这两个算法，其实都是广义线性模型的特例。1) 伯努利分布http://www.cnblogs.com/mikewolf2002/p/7667944.html2) 高斯分布http:/... 阅读全文

摘要： 神奇的gamma函数(上)神奇的gamma函数(下)gamma函数的定义及重要性质\[\Gamma(x)=\int_0^{\infty}t^{x-1}e^{-t}dt\]\[\Gamma(x+1) = x \Gamma(x)\]\[\Gamma(n) = (n-1)! \]\[\Gamma(0) = 1\]\[\Gamma({1\over 2}) = 2\int_0^{+\infty}e^{-u^... 阅读全文

摘要： 牛顿迭代法（Newton's method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。 牛顿迭代公式 设r是\(f(x)=0\)的根，选取\(x_0\)作为r的初始近似值，过点\((x_0,f(x 阅读全文

摘要： 通常，选择交给学习算法处理特征的方式对算法的工作过程有很大影响。 例如：在前面的例子中，用\(x1\)表示房间大小。通过线性回归，在横轴为房间大小，纵轴为价格的图中，画出拟合曲线。回归的曲线方程为：\(\theta_0+\theta_1x_1\),如下边最左边的图。 若定义特征集合为：\(x1\)表示房子大小，\(x2\)表示房子大小的平方，使用相同的算法，拟合得到一个二... 阅读全文

摘要： 从http://www.cnblogs.com/mikewolf2002/p/7560748.html这篇文章中，我们知道损失函数为下面的形式：\[J(\theta_0, \theta_1..., \theta_n) = \frac{1}{2m}\sum\limits_{i=0}^{m}(h_\theta(x_0^{(i)}, x_1^{(i)}, ...,x_n^{(i)})- y^{(i)})... 阅读全文

摘要： 样本文件下载：ex2Data.zipex2x.dat文件中是一些2-8岁孩子的年龄。ex2y.dat文件中是这些孩子相对应的体重。我们尝试用批量梯度下降法，随机梯度下降法和小批量梯度下降法来对这些数据进行线性回归，线性回归原理在：http://www.cnblogs.com/mikewolf2002/p/7560748.html1.批量梯度下降法（BGD)BGD.m代码：clear all; cl... 阅读全文

摘要： 一个在线编辑器 http://www.codecogs.com/latex/eqneditor.php1.分数的表示\frac{1}{\sqrt2}\[\frac{1}{\sqrt2}\]2.矩阵的表示\begin{bmatrix}2 & \cdots & 3 \\ \vdots& \ddots & \vdots\\ 4& \cdots & 9\end{bmatrix}\begin{equ... 阅读全文

摘要： 把文件装入矩阵x = load('ex4x.dat'); y = load('ex4y.dat');[m, n] = size(x); %得到矩阵x的行数和列数ex4x.dat共80行，2列，通过上面函数，我们把它装入一个80x2的矩阵。5.5500000e+01 6.9500000e+014.1000000e+01 8.1500000e+015.3500000e+01 8.60000... 阅读全文