随笔分类 - 机器学习理论
摘要：ng在coursera上的机器学习课已经讲过了PCA，这里不再过多赘述。但是下面要介绍PCA的数据预处理过程，并证明，为什么PCA选取的主成分是协方差矩阵对应的特征值前k大的特征向量。 PCA前的数据预处理 令$\mu=\frac 1 m \sum_{i=1}^m x^{(i)}$是m个数据的均值，
阅读全文
摘要：问题描述 现在要用多元高斯分布模型拟合若干样本点$x^{(i)}\in \mathbb R^n$，但样本特征维数$n\gg$样本数$m$，此时，求出的协方差矩阵 $$\Sigma_{n\times n}=\frac 1 m (x^{(1)} \mu,\cdots,x^{(m)} \mu)(x^{(1
阅读全文
摘要：琴生不等式(Jensen's inequality) 对于函数$f(x)\in \mathbb R(x\in \mathbb R)$，当$f''(x)\geq 0$时，f(x)为凸函数，当$f''(x) 0$时，f(x)为严格凸函数 若把自变量x换成向量，则当f的hessian矩阵H半正定(记作$H
阅读全文
摘要：K means聚类 ng在coursera的机器学习课上已经讲过K means聚类，这里不再赘述 高斯混合模型 问题描述 聚类问题：给定训练集$\{x^{(1)},\cdots,x^{(m)}\}$，每个数据没有任何标签。这是一个无监督学习问题 模型描述 首先，我们认为每个数据所属的类别满足一定的概
阅读全文
摘要：考虑如下的在线学习问题： 1.学习模型为$h_\theta(x)=g(\theta^Tx)$，其中，$z\geq 0$时$g(z)=1$，$z $\|u\|=1$,$(\theta^{(k+1)})^Tu=\|\theta^{(k+1)}\|\cdot\|u\|\cos\phi\leq\|\thet
阅读全文
摘要：模型选择 假设目前有d个学习模型构成的集合$\mathcal M=\{M_1,\cdots,M_d\}$，训练集S，下面介绍几种选取模型的方法 Hold out cross validation(Simple cross validation) 1.按一定比例随机将原始训练集S分为训练集$S_{tr
阅读全文
摘要：偏置与方差的权衡 高偏置(high bias)与高方差(high variance)的概念在Coursera上Ng的机器学习课程中已经提过，这里不再赘述 预备知识 一致限(the union bound)/Boole不等式(Boole's inequality) $$P(A_1\cup \cdots
阅读全文
摘要：在逻辑回归中，对于输入特征$x$，$|\theta^Tx|$越是大于0，则分类结果为0(1)的置信度将越大。所以要让决策边界离正负样本的距离尽可能远，这就是SVM的motivation 符号约定 为方便描述，样本标签$y\in\{ 1,1\}$，而非之前的{0,1}，并单独表示偏置$b$，使得参数$
阅读全文
摘要：广义线性模型(Generalized Linear Models,GLM) 指数分布族(Exponential Family Distributions) 指数分布族被定义为： $$p(y;\eta)=b(y)\exp(\eta^TT(y) a(\eta))$$ 其中$\eta$是自然参数(natu
阅读全文
摘要：线性回归的Normal Equations 令全体训练样本构成的矩阵为 $$X=\begin{pmatrix}(x^{(1)})^T\\\vdots\\(x^{(m)})^T\end{pmatrix}$$ 对应的真实值 $$y=\begin{pmatrix}y^{(1)}\\\vdots\\y^{(
阅读全文
摘要：高斯分布实现异常检测 单变量高斯分布实现异常检测 模型描述 在单变量高斯分布中，对于m组、n种特征的数据， 假设其所有特征都是相互独立的 ，$P(x|\mu;\sigma^2)$是数据x正常的概率，那么 $$P(x|\mu;\sigma^2)=P(x_1|\mu_1;\sigma_1^2)\cdot
阅读全文
摘要：支持向量机 SVM的代价函数 首先回顾不带正则化的逻辑回归的代价函数： $$J(\theta)=\frac 1 m \sum_{i=1}^m[ y^{(i)}log(h_\theta(x^{(i)})) (1 y^{(i)})log(1 h_\theta(x^{(i)}))]$$ $$J(\thet
阅读全文
摘要：神经网络 非线性假设 一般来说，分类问题的数据是非线性可分的，如上图左侧所示，若采用logistic回归分类这些数据，则必须考虑构造高阶特征，如上图右侧所示。 然而，若原始数据包含$n$种特征，若想手动构造出二阶特征，则可能构造出大约$C_n^2=\frac{n(n 1)}2$个特征，若想构造出更高
阅读全文
摘要：Programming Exercise 7: K means Clustering and Principal Component Analysis K Means聚类 findClosestCentroids 给出若干组数据点X，矩阵X每一行代表一组数据，以及K个聚类中心centroids，寻找
阅读全文
摘要：Programming Exercise 5: Regularized Linear Regression and Bias v.s. Variance linearRegCostFunction 与Ex4类似，没什么好说的 learningCurve 绘制出不同训练样本数目下，训练集误差和验证集误
阅读全文
摘要：Programming Exercise 3: Multi class Classification and Neural Networks 带正则化的多分类Logistic回归 lrCostFunction K(K 2)分类Logistic回归中，可以构造K个分类器，第K个分类器的假设函数$h_\t
阅读全文
摘要：Programming Exercise 1: Linear Regression 单变量线性回归 warmUpExercise 要求：输出5阶单位阵 直接使用 即可 plotData 要求：读入若干组数据(x,y)，将它们绘制成散点图 使用MATLAB的 命令即可 输出结果： computeCos
阅读全文
摘要：一、监督学习(Supervised Learning) 监督学习的定义： 给出一组数据集，数据集中每一个样本都有对应的正确的输出值。 上图是监督学习的最简单的例子之一：回归问题(regression problem) 使用一次函数或更高次的函数拟合房屋售价数据，训练数据中每一个样本都包含了该房子真实
阅读全文
浙公网安备 33010602011771号