随笔分类 - 机器学习
摘要：隐马尔可夫模型 隐马尔可夫模型是一种概率图模型。我们知道，机器学习模型可以从频率派和贝叶斯派两个方向考虑，在频率派的方法中的核心是优化问题，而在贝叶斯派的方法中，核心是积分问题，也发展出来了一系列的积分方法如变分推断，MCMC 等。概率图模型最基本的模型可以分为有向图（贝叶斯网络）和无向图（马尔可夫
阅读全文
摘要：马尔可夫链蒙特卡洛 MCMC 是一种随机的近似推断，其核心就是基于采样的随机近似方法蒙特卡洛方法。对于采样任务来说，有下面一些常用的场景： 采样作为任务，用于生成新的样本 求和/求积分 采样结束后，我们需要评价采样出来的样本点是不是好的样本集： 样本趋向于高概率的区域 样本之间必须独立 具体采样中，
阅读全文
摘要：变分推断 贝叶斯派最核心的问题就是求后验分布，由贝叶斯公式，实际上就是要求边缘概率，因为分子的似然和先验都是容易求的，而边缘概率是一个积分（就是分子的积分），如果隐变量维度太高，或者这个积分的形式复杂，都会导致积分难求。如果积分比较好求，那就是精确推断，如果积分不好求，那就只能用近似推断，变分推断就
阅读全文
摘要：高斯混合模型 为了解决高斯模型的单峰性的问题，我们引入多个高斯模型的加权平均来拟合多峰数据： \[p(x)=\sum\limits_{k=1}^K\alpha_k\mathcal{N}(\mu_k,\Sigma_k) \]引入隐变量 \(z\)，这个变量表示对应的样本 \(x\) 属于哪一个高斯分布
阅读全文
摘要：梯度提升树-GBDT 梯度提升树（GBDT）是一种基于Boosting思想的集成学习算法，通过迭代训练多棵决策树（通常为CART回归树）来逐步优化模型预测性能。 CART（分类与回归树）是一种基于二叉树的决策树算法，分类问题：基尼指数（Gini Index）衡量数据不纯度的指标，算法选择使基尼指数最
阅读全文
摘要：期望最大 期望最大算法的目的是解决具有隐变量的混合模型的参数估计（极大似然估计）。MLE 对 \(p(x|\theta)\) 参数的估计记为：\(\theta_{MLE}=\mathop{argmax}\limits_\theta\log p(x|\theta)\)。EM 算法对这个问题的解决方法是
阅读全文
摘要：概率图模型 概率图模型使用图的方式表示概率分布，因为各个变量的概率之间可能存在着各种各样的依赖关系，用图来表示是一种自然的想法。为了在图中添加各种概率，首先总结一下随机变量分布的一些规则： \[\begin{align*} &Sum\ Rule:p(x_1)=\int p(x_1,x_2)dx_2\
阅读全文
摘要：指数族分布 指数族是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式： \[p(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta))=\frac{1}{\exp(A(
阅读全文
摘要：支撑向量机 SVM有三宝，间隔对偶核技巧~ 支撑向量机（SVM）算法在分类问题中有着重要地位，其主要思想是最大化两类之间的间隔。按照数据集的特点： 线性可分问题，如之前的感知机算法处理的问题 线性可分，只有一点点错误点，如感知机算法发展出来的 Pocket 算法处理的问题 非线性问题，完全不可分，如
阅读全文
摘要：降维 我们知道，解决过拟合的问题除了正则化和添加数据之外，降维就是最好的方法。降维的思路来源于维度灾难的问题，我们知道 \(n\) 维球的体积为： \[CR^n \]那么在球体积与边长为 \(2R\) 的超立方体比值为： \[\lim\limits_{n\rightarrow0}\frac{CR^n
阅读全文
摘要：线性分类 对于分类任务，线性回归模型就无能为力了，但是我们可以在线性模型的函数进行后再加入一层激活函数，这个函数是非线性的，激活函数的反函数叫做链接函数。我们有两种线性分类的方式： 硬分类，直接输出观测对应的分类。这类模型的代表为： 线性判别分析（Fisher 判别） 感知机 软分类，产生不同类别的
阅读全文
摘要：线性回归 假设数据集为： \[\mathcal{D}=\{(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_N)\} \]后面我们记： \[X=(x_1,x_2,\cdots,x_N)^T,Y=(y_1,y_2,\cdots,y_N)^T \]线性回归假设： \[f(w)=w
阅读全文
摘要：基础知识 数据集和学习 数据集的矩阵表示： \[X_{N\times p}=(x_{1},x_{2},\cdots,x_{N})^{T},x_{i}=(x_{i1},x_{i2},\cdots,x_{ip})^{T} \]即表示有 \(N\) 个样本，每个样本都是 \(p\) 维向量，每个维度称作属
阅读全文
浙公网安备 33010602011771号