Jamest

摘要： EM算法，即最大期望算法（Expectation maximization algorithm），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型 依赖于无法观测的隐性变量 。 最大期望算法经过两个步骤交替进行计算， 第一步是 计算期望（E） ，利用对隐藏变量的现有估计值，计算 阅读全文

摘要： 记录一些常见的机器学习基础概念。 常见的距离算法 1. 欧几里得距离（Euclidean Distance） $$ \sqrt{\sum_{i=1}^N{(x_i y_i)}^2} $$ 标准欧氏距离的思路：现将各个维度的数据进行标准化：标准化后的值 = ( 标准化前的值 － 分量的均值 ) /分量 阅读全文

摘要： 支持向量机模型(SVM)是一个二分类模型，基本思想是 求解能够正确划分训练数据集并且几何间隔最大的分离超平面 ，其学习策略便是间隔最大化，最终化为一个凸二次规划问题的求解。 SVM可分为线性可分支持向量机、线性支持向量机和非线性支持向量机。 <! more 算法推导 1. 线性可分支持向量机 引入函 阅读全文

摘要： 决策树的目标是从一组样本数据中，根据不同的特征和属性，建立一棵树形的分类结构。 决策树的学习本质上是从训练集中归纳出一组分类规则，得到与数据集矛盾较小的决策树，同时具有很好的泛化能力。决策树学习的损失函数通常是正则化的极大似然函数 ，通常采用启发式方法，近似求解这一最优化问题。 算法原理 ID3 最 阅读全文

摘要： 逻辑回归模型是针对线性可分问题的一种易于实现而且性能优异的分类模型。 它假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降法来求解参数，来达到将数据二分类的目的。 算法推导 引入几率比（odds）：指一个事件发生的概率与不发生概率的比值。对其求log，可得： $$ logit(p) = 阅读全文

摘要： 最大熵模型是指在满足约束条件的模型集合中选取熵最大的模型，即不确定性最大的模型。 <! more 最大熵原理 最大熵思想 ：当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况，那么，就猜满足这些情况的熵最大的分布。 算法推导 按照最大熵原理,我们应 阅读全文