随笔分类 - 慕课笔记
摘要：支撑向量机的英文名叫: Support Vector Machine，是机器学习领域中的很重要的一种算法。它的思想背后有极强的统计理论的支撑，也是统计学上常用的一种方法。此算法在机器学习中既能解决分类问题，又能解决回归问题。且对真实的数据具有很好的泛化能力。 原理：考虑如下样本数据集，如何分辨此数据
阅读全文
摘要：加载手写识别数字数据集 用逻辑回归训练 查看多分类问题的混淆矩阵 将数据与灰度值对应起来： 去除预测正确的对角线数据，查看混淆矩阵中的其他值 上图不仅可以看出哪个地方犯的错误多，还可以看出是什么样的错误，例：算法会偏向于将值为1的数据预测为9，将值为8的数预测为1。 在算法方面，应该考虑调整1、8、
阅读全文
摘要：精准率和召回率是两个不同的评价指标，很多时候它们之间存在着差异，具体在使用的时候如何解读精准率和召回率，应该视具体使用场景而定 有些场景，人们可能更注重精准率，如股票预测系统，我们定义股票升为1，股票降为0，我们更关心的是未来升的股票的比例，而在另外一些场景中，人们更加注重召回率，如癌症预测系统，定
阅读全文
摘要：分类准确度的问题 假如有一个癌症预测系统，输入体检信息，可以判断是否有癌症，准确度为99.9%，这个系统是好还是坏？ 如果癌症产生的概率本来就只有0.1%，那么即使不采用此预测系统，对于任何输入的体检信息，都预测所有人都是健康的，即可达到99.9%的准确率。如果癌症产生的概率本来就只有0.01%，预
阅读全文
摘要：逻辑回归是使用回归的方式来解决分类问题。之前说过，逻辑回归只能解决二分类问题，为了解决多分类问题，可以使用OVR和OVO方法 OVR(One Vs Rest) 某个分类算法有N类，将某一类和剩余的类比较作为二分类问题，N个类别进行N次分类，得到N个二分类模型，给定一个新的样本点，求出每种二分类对应的
阅读全文
摘要：scikit learn中的逻辑回归 构造数据集 import numpy import matplotlib.pyplot as plt numpy.random.seed(666) X = numpy.random.normal(0,1,size=(200,2)) 决策边界为二次函数 y = n
阅读全文
摘要：逻辑回归解决二分类问题，但是像下图所示的非线性数据集，是没办法用一条直线分割为两部分的。 对于此数据集，用一个圆形或者椭圆形分割是比较合理的，圆形的表达式：$X_1^2 + X_2^2 R^2 = 0$ 为了让逻辑回归学习到这样的决策边界，我们需要引入多项式项，$X_1^2,X_2^2$分别是$X_
阅读全文
摘要：决策边界 我们可以看出 决定y取不同值的边界为：$$ \theta^T \cdot x_b = 0 $$ 上式表达式是一条直线，为决策边界，如果新来一个样本，和训练后得到的$ \theta $相乘，根据是否大于0，决定到底属于哪一类 画出决策边界 如果样本有两个特征$x1,x2$，则决策边界有：$\
阅读全文
摘要：逻辑回归方程 之前得出逻辑回归的损失函数： $$ J(\theta) = \frac{1}{m}\sum_{i=1}^{m}y^{(i)}log(\sigma (X _b^{(i)} \cdot \theta))+(1 y^{(i)})log(1 \sigma (X_b^{(i)} \cdot \t
阅读全文
摘要：逻辑回归 解决分类问题：将样本的特征和样本发生的的概率联系起来，逻辑回归既可以看作是分类算法，也可以看作回归算法 考虑之前的线性回归算法：$\hat y = f(x) $ $ \hat y = X_b \cdot \theta $ ,其中值域为：$ ( \infty,+\infty)$ 对于概率来讲
阅读全文
摘要：方差偏差权衡(Bias Variance Trade off) 模型误差 = 偏差(Bias)+方差(Variance)+不可避免的误差 导致偏差的主要原因：对问题本身的假设不正确！如：非线性数据使用线性回归（欠拟合 underfitting） 导致方差的主要原因：数据的一点点扰动都会较大地影响模型
阅读全文
浙公网安备 33010602011771号