hanzi5

摘要： 1.Adaboost概念提升方法的思路是综合多个分类器，得到更准确的分类结果。 即“三个臭皮匠顶个诸葛亮”。《统计学习方法》称AdaBoost是提升算法的代表，所谓提升算法，指的是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重... 阅读全文

摘要： 1.SVM概念支持向量机即 Support Vector Machine，简称 SVM 。SVM模型的主要思想是在样本特征空间上找到最佳的分离超平面（二维是线）使得训练集上正负样本间隔最大，这个约束使得在感知机的基础上保证可以找到一个最好的分割分离超平面（也... 阅读全文

摘要： 1.感知机回归概念感知机（Perceptron）是二分类的线性分类模型，其输入是实例的特征向量，输出是实例的类别，取+1及-1二值。感知机是在1957年由Rosenblatt提出，今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为... 阅读全文

摘要： 接上篇 CART算法的全称是Classification And Regression Tree，采用的是Gini指数（选Gini指数最小的特征s）作为分裂标准,同时它也是包含后剪枝操作。ID3算法和C4.5算法虽然在对训练样本集的学习中可以尽可能多地... 阅读全文

摘要： 1.决策树概念 决策树是通过一系列if-then规则对数据进行分类的过程，他提供一种在什么条件下会得到什么值的类似规则方法，决策树分为分类树和回归树，分类树对离散变量最决策树，回归树对连续变量做决策树。 如果不考虑效率等，那么样本所有特征的判断级... 阅读全文

摘要： 1.朴素贝叶斯概念在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X),要么是条件分... 阅读全文

摘要： 1.Softmax回归概念Softmax回归可以用于多类分类问题，Softmax代价函数与logistic 代价函数在形式上非常类似，只是在Softmax损失函数中对类标记的 k\textstyle kk 个可能值进行了累加。注意在Softmax回归中将 x... 阅读全文

摘要： 1.逻辑回归概念逻辑分类（Logistic Classification）是一种线性模型，可以表示为y=f(w∗x+b)y=f(w*x+b)y=f(w∗x+b)，w是训练得到的权重参数（Weight）；x是样本特征数据(逻辑回归一般要求需要对x进行归一化处理... 阅读全文

摘要： 接上篇5.局部加权线性回归局部加权线性回归（LWLR），在该算法中，我们给待预测点附近的每个点赋予一定的权重，在这个自己上基于最小均方差进行普通的回归，每次预测均需要先选取出对应数据子集。该算法接触回归系数w的形式如下：普通线性回归：w^=(XTX)−1⋅X... 阅读全文

摘要： 接上篇4.梯度下降算法《斯坦福大学公开课 ：机器学习课程》吴恩达讲解第二课时，是直接从梯度下降开始讲解，最后采用向量和矩阵的方式推导了解析解，国内很多培训视频是先讲解析解后讲梯度下降，个人认为梯度下降算法更为重要，它是很多算法（逻辑回归、神经网络）都可以共用... 阅读全文