Jamest

摘要： 支持向量机模型(SVM)是一个二分类模型，基本思想是 求解能够正确划分训练数据集并且几何间隔最大的分离超平面 ，其学习策略便是间隔最大化，最终化为一个凸二次规划问题的求解。 SVM可分为线性可分支持向量机、线性支持向量机和非线性支持向量机。 <! more 算法推导 1. 线性可分支持向量机 引入函 阅读全文

摘要： 决策树的目标是从一组样本数据中，根据不同的特征和属性，建立一棵树形的分类结构。 决策树的学习本质上是从训练集中归纳出一组分类规则，得到与数据集矛盾较小的决策树，同时具有很好的泛化能力。决策树学习的损失函数通常是正则化的极大似然函数 ，通常采用启发式方法，近似求解这一最优化问题。 算法原理 ID3 最 阅读全文

摘要： 逻辑回归模型是针对线性可分问题的一种易于实现而且性能优异的分类模型。 它假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降法来求解参数，来达到将数据二分类的目的。 算法推导 引入几率比（odds）：指一个事件发生的概率与不发生概率的比值。对其求log，可得： $$ logit(p) = 阅读全文

摘要： 最大熵模型是指在满足约束条件的模型集合中选取熵最大的模型，即不确定性最大的模型。 <! more 最大熵原理 最大熵思想 ：当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况，那么，就猜满足这些情况的熵最大的分布。 算法推导 按照最大熵原理,我们应 阅读全文