摘要： 阅读全文

摘要： L1和L2正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过你和而加在损失函数后面的一项。 L1是模型的各个参数的绝对值之和 L2是模型各个参数的平方和的开方值 区别： 从图形上理解：应为最优的参数值很大概率出现在坐标轴上，这样就导致某一维的权重为0，产生稀疏权重矩阵。 从贝叶斯的角度理解：加 阅读全文

摘要： 贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。所谓先验概率,就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果。 为什么是对一个新的实例进行分类的时候总是由 阅读全文

摘要： LDA算法的主要优点有： 在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。 LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。 LDA算法的主要缺点有： LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。 LDA降维最多降到类别数 阅读全文

摘要： 主成分分析（Principal Component Analysis，简称PCA）是最常用过的一种降维方法 在引入PCA之前先提到了如何使用一个超平面对所有的样本进行恰当的表达? 即若存在这样的超平面，那么它大概应具有这样的性质： 最大可分性：样本点在这个超平面的投影尽可能分开。 最近重构性：样本点 阅读全文

摘要： 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法。其思想非常朴素，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类的样例的投影点尽可能的远离，在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类 阅读全文

摘要： 关于统计学习方法中李航SVM学习笔记： 支持向量机（support vector machines，SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；关于感知机的介绍有时间再做。 关于支持向量机中的内容比较多，本文关于李航统计学习中关于支持向 阅读全文

摘要： 对于李航统计学习方法中决策树的学习想从一下几个角度进行整理： 1.决策树介绍 2.熵，信息增益，信息增益率，基尼指数 3.决策树的生成算法（ID3，C4.5，CART） 4.决策树的减枝 1.决策树介绍 1.1 决策树的模型： 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组 阅读全文