随笔分类 - 模式识别与机器学习/Pattern Recognition and Machine Learning(PRML)
摘要：[TOC] 稀疏核机 === 1 最大间距分类器 1 2 相关向量机
阅读全文
摘要：[TOC] 核方法 === 1 对偶表示 1 我们从线性参数化模型推导演绎给出核函数的形式。考虑带L2正则项（参数平方误差项）的线性回归模型，误差函数由下式给出 $$ J(\mathbf w)=\frac{1}{2}\sum\left(\mathbf w^\text T\boldsymbol\phi
阅读全文
摘要：序列数据 === 1 马尔科夫模型 2 隐马尔科夫模型 3 线性动态系统
阅读全文
摘要：连续隐含变量 === 1 主成分分析 2 概率PCA 3 核PAC 4 非线性隐含变量模型
阅读全文
摘要：概率分布 === [TOC] 1 二元变量 1 伯努利(Bernoulli)分布的形式如下 $$\text{Bern}(x|\mu)=\mu^x(1 \mu)^{1 x}.$$ 实际上伯努利分布没有自己的记号，考虑其作为二项分布的一个特例，可以用$B(1,\mu)$作为伯努利实验结果的表示。即若$X
阅读全文
摘要：采样方法 === [TOC] 在不会产生歧义的条件下，这里不对“采样”和“取样（抽样）”两个概念加以明确区分。事实上，以下多处用到的“采样”一词实际上指“抽样”，作为习惯，仍保留这种叫法。 对于给定的概率分布$p(\mathbf{z})$，我们希望计算定义在该分布上的函数$f(\mathbf{z})
阅读全文
摘要：[TOC] 线性分类模型 === 线性分类问题有三种解法，第一种是直接使用判别函数将特征向量关联到某个类别，第二种和第三种分别对条件概率 $p(\mathcal{C}_k|\mathbf{x})$ 和类别条件概率 $p(\mathbf{x} | \mathcal{C}_k)$ 建模。 可以使用广义线
阅读全文
摘要：概率分布 === [TOC] 1 二元变量 1 伯努利(Bernoulli)分布的形式如下 $$\text{Bern}(x|\mu)=\mu^x(1 \mu)^{1 x}.$$ 实际上伯努利分布没有自己的记号，考虑其作为二项分布的一个特例，可以用$B(1,\mu)$作为伯努利实验结果的表示。即若$X
阅读全文
摘要：图模型 === [TOC] 1 贝叶斯网络 1 虽然可以通过代数运算表示、操作概率模型，但有时使用图来描述概率分布是十分方便并且有益的，这类模型也被称为概率图模型。 2 贝叶斯网络也称有向图模型，其中结点表示一个或一组随机变量，有向边表示变量之间的概率关系。马尔科夫随机场则又称无向图模型，与贝叶斯网
阅读全文
摘要：3 线性回归模型 3.1 $$\sigma(a)=\frac{1}{1+\exp( a)},$$ $$\tanh(a)=\frac{\exp(a) \exp( a)}{\exp(a)+\exp( a)}= 1+2\frac{1}{1+\exp( 2a)}=2\sigma(2a) 1.$$ 3.2 由
阅读全文
摘要：1 导论 1.1 $$\nabla_\mathbf{w}E(\mathbf{w})=\sum_{n=1}^N\{y(x_n,\mathbf{w}) t_n\}\phi(x_n)=0$$ $$\sum_{n=1}^N\phi^\text{T}(x_n)\mathbf{w}\phi(x_n)=\sum_
阅读全文
摘要：导论 === [TOC] 1 曲线拟合 1 使用多项式函数拟合数据： $$y(x,\mathbf{w})=w_0+w_1x+w_2x^2+...+w_Mx_M=\sum_{j=0}^Mw_jx^j,$$ 该式是未知参数的线性函数，平方误差函数为： $$E(\mathbf{w})=\frac{1}{2
阅读全文
浙公网安备 33010602011771号