2018 年 11月随笔档案 - hanzi5

摘要：1.SVM概念支持向量机即 Support Vector Machine，简称 SVM 。SVM模型的主要思想是在样本特征空间上找到最佳的分离超平面（二维是线）使得训练集上正负样本间隔最大，这个约束使得在感知机的基础上保证可以找到一个最好的分割分离超平面（也... 阅读全文

posted @ 2018-11-30 14:16 hanzi5 阅读(18655) 评论(1) 推荐(3)

摘要：1.感知机回归概念感知机（Perceptron）是二分类的线性分类模型，其输入是实例的特征向量，输出是实例的类别，取+1及-1二值。感知机是在1957年由Rosenblatt提出，今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为... 阅读全文

posted @ 2018-11-22 17:41 hanzi5 阅读(1098) 评论(0) 推荐(0)

摘要：接上篇 CART算法的全称是Classification And Regression Tree，采用的是Gini指数（选Gini指数最小的特征s）作为分裂标准,同时它也是包含后剪枝操作。ID3算法和C4.5算法虽然在对训练样本集的学习中可以尽可能多地... 阅读全文

posted @ 2018-11-20 15:21 hanzi5 阅读(1720) 评论(0) 推荐(0)

摘要：1.决策树概念决策树是通过一系列if-then规则对数据进行分类的过程，他提供一种在什么条件下会得到什么值的类似规则方法，决策树分为分类树和回归树，分类树对离散变量最决策树，回归树对连续变量做决策树。如果不考虑效率等，那么样本所有特征的判断级... 阅读全文

posted @ 2018-11-15 10:53 hanzi5 阅读(644) 评论(0) 推荐(0)

摘要：1.朴素贝叶斯概念在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X),要么是条件分... 阅读全文

posted @ 2018-11-11 15:23 hanzi5 阅读(664) 评论(0) 推荐(0)

Python实现softmax回归

摘要：1.Softmax回归概念Softmax回归可以用于多类分类问题，Softmax代价函数与logistic 代价函数在形式上非常类似，只是在Softmax损失函数中对类标记的 k\textstyle kk 个可能值进行了累加。注意在Softmax回归中将 x... 阅读全文

posted @ 2018-11-02 10:09 hanzi5 阅读(1280) 评论(0) 推荐(0)

hanzi5