摘要：第7章 支持向量机 SVM是一种二类分类模型。 核函数表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。 核方法是比支持向量机更为一般的机器学习方法。 序列最小最优化算法（SMO） 对偶最优化问题： 阅读全文

摘要：第6章 逻辑斯谛回归与最大熵模型 逻辑斯谛回归是统计学习中的经典分类方法。 改进的迭代尺度算法和拟牛顿法。 6.1 逻辑斯谛回归模型 分布函数和密度函数： 二项逻辑斯谛回归的参数估计法可以推广到多项逻辑斯谛回归。 6.2 最大熵模型 最大熵模型的学习归结为对偶函数的极大化。 6.2.4 极大似然估计 阅读全文

摘要：统计学习方法第五章 决策树 树的剪枝算法 5.5 CART算法 分类与回归树模型是应用广泛的决策树学习方法。 CART由特征选择、树的生成以及剪枝组成，既可以用于分类也可以用于回归。 以下将用于分类与回归的树统称为决策树。 算法5.5 最小二乘回归树生成算法 定义 5.4 基尼指数 决策树学习旨在构 阅读全文

摘要：统计学习方法第四章 朴素贝叶斯法 朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。 4.2 朴素贝叶斯法的参数估计 极大似然估计 学习与分类算法 贝叶斯估计 阅读全文

摘要：k近邻法 k近邻算法 输入：训练数据集；实例特征向量x； 输出：实例x所属的类y。 （1）根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这k个点的x的邻域记作Nk(x)； （2）在x的邻域中根据分类决策规则决定x的类别y。 k近邻法的特殊情况是 k=1 的情形，称为最近邻算法。对于输入 阅读全文

摘要：感知机 损失函数的一个自然选择是误分类点的总数。 算法 2.1 （感知机学习算法的原始形式） 输入：训练数据集T；学习率 输出：w,b；感知机模型。 （1）选取初值w0,b0； （2）在训练集中选取数据（xi，yi）； （3）如果yi(w*xi+b)<=0... （4）转至（2），直至训练集中没有误 阅读全文