C_noized's Blog

摘要： 题目描述：给一个整数数组和一个正整数K，返回数组中第K大的元素。 思路1：堆排序（优先队列） 维护一个小顶堆，堆的大小限制为K，堆里面装的元素就是当前数组中前K大的元素。 这个思路非常简单，用STL的priority_queue直接就解决了，不需要过多阐述。 注意：priority_queue默认是 阅读全文

摘要： 隐马尔可夫模型 隐马尔可夫模型是一种概率图模型。我们知道，机器学习模型可以从频率派和贝叶斯派两个方向考虑，在频率派的方法中的核心是优化问题，而在贝叶斯派的方法中，核心是积分问题，也发展出来了一系列的积分方法如变分推断，MCMC 等。概率图模型最基本的模型可以分为有向图（贝叶斯网络）和无向图（马尔可夫 阅读全文

摘要： 马尔可夫链蒙特卡洛 MCMC 是一种随机的近似推断，其核心就是基于采样的随机近似方法蒙特卡洛方法。对于采样任务来说，有下面一些常用的场景： 采样作为任务，用于生成新的样本 求和/求积分 采样结束后，我们需要评价采样出来的样本点是不是好的样本集： 样本趋向于高概率的区域 样本之间必须独立 具体采样中， 阅读全文

摘要： 变分推断 贝叶斯派最核心的问题就是求后验分布，由贝叶斯公式，实际上就是要求边缘概率，因为分子的似然和先验都是容易求的，而边缘概率是一个积分（就是分子的积分），如果隐变量维度太高，或者这个积分的形式复杂，都会导致积分难求。如果积分比较好求，那就是精确推断，如果积分不好求，那就只能用近似推断，变分推断就 阅读全文

摘要： 输入：任意包括'+','-','*','/','(',')'空格以及数字（可以是浮点数）的合法运算表达式 输出：运算结果（浮点数） 代码实现： #include <bits/stdc++.h> using namespace std; class Solution { public: double 阅读全文

摘要： 高斯混合模型 为了解决高斯模型的单峰性的问题，我们引入多个高斯模型的加权平均来拟合多峰数据： \[p(x)=\sum\limits_{k=1}^K\alpha_k\mathcal{N}(\mu_k,\Sigma_k) \]引入隐变量 \(z\)，这个变量表示对应的样本 \(x\) 属于哪一个高斯分布 阅读全文

摘要： 梯度提升树-GBDT 梯度提升树（GBDT）是一种基于Boosting思想的集成学习算法，通过迭代训练多棵决策树（通常为CART回归树）来逐步优化模型预测性能。 CART（分类与回归树）是一种基于二叉树的决策树算法，分类问题：基尼指数（Gini Index）衡量数据不纯度的指标，算法选择使基尼指数最 阅读全文

摘要： 期望最大 期望最大算法的目的是解决具有隐变量的混合模型的参数估计（极大似然估计）。MLE 对 \(p(x|\theta)\) 参数的估计记为：\(\theta_{MLE}=\mathop{argmax}\limits_\theta\log p(x|\theta)\)。EM 算法对这个问题的解决方法是 阅读全文

摘要： 概率图模型 概率图模型使用图的方式表示概率分布，因为各个变量的概率之间可能存在着各种各样的依赖关系，用图来表示是一种自然的想法。为了在图中添加各种概率，首先总结一下随机变量分布的一些规则： \[\begin{align*} &Sum\ Rule:p(x_1)=\int p(x_1,x_2)dx_2\ 阅读全文

摘要： 指数族分布 指数族是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式： \[p(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta))=\frac{1}{\exp(A( 阅读全文