随笔分类 -  机器学习

0A03 无监督学习:支持向量机
摘要：优点:适合小样本数量,高特征维度的数据 目标:达到二值分类的目的 选择超平面的依据: 无法找到其他绘制方法使两条虚线间的距离更大 最优超平面到两种类型数据其最近的点有相同的距离 间隔问题 硬间隔: 可能会出现过度拟合的现象 软间隔: 在训练时允许有一定的误差 可以解决线性不可分问题 升维映射到高维空 阅读全文
posted @ 2019-06-22 20:17 childhood_2 阅读(965) 评论(0) 推荐(0)
0A03 无监督学习:梯度下降
摘要：恢复内容开始 梯度下降的定义: 梯度下降是一种因为计算机储存及能力有限,采取逐步逼近,迭代求解的方法. 梯度下降的步骤: 任取一点作为起始点 查看在当前点向那个方向移动能得到最小的z值,并向该方向移动. 重复该步骤,直到无法找到更小的z值,此时认为达到最低点. 几个基础的算法概念: 步长:是每一次梯 阅读全文
posted @ 2019-06-22 19:24 childhood_2 阅读(631) 评论(0) 推荐(0)
0A03 无监督学习:分类(1) 线性回归Lasso
摘要：为了解决Ridge产生的较大的计算,Lasso很好的解决了这一问题. Ridge的规范化是 aΣw2 Lasso的规范化是aΣ|w| 但是Lasso的惩罚效果却比Ridge严厉的多.可以把很多的w都惩罚为0. 实战: Out: alpha 1.000000e-10 intercept_ :coef_ 阅读全文
posted @ 2019-06-22 13:23 childhood_2 阅读(685) 评论(0) 推荐(0)
0A03 无监督学习:分类(1) 线性回归Ridge(岭回归)
摘要：岭回归是对OLS的改进,防止OLS随着维度使回归参数疯狂的增长. 在最小二乘法的基础上增加了惩罚项:aΣw2 a是一个可以调节的超参数,w是线性模型中所有参数的权重. 废话不多说,直接实战: 结果: 可以看出 a越大,回归参数越小,模型越平缓. 不足: 可以看出岭回归的模型参数都只有非常小的绝对值, 阅读全文
posted @ 2019-06-22 11:18 childhood_2 阅读(788) 评论(0) 推荐(0)
0A03 无监督学习:分类(1) 线性回归OLS
摘要：OLS就是最小二乘法,(Ordinary Least Squares),它通过最小化样本真值与预测值之间的方差和来达到计算出方程系数的目的. 实战: from sklearn import linear_modelimport numpy as np x = np.array([[0,1],[3,- 阅读全文
posted @ 2019-06-22 11:00 childhood_2 阅读(779) 评论(0) 推荐(0)
0A04 无监督学习:聚类(2) 近邻算法(Affinity Propagation)
摘要：AP算法,具有结果稳定可重现 训练前不用制定K-means中K值,但是算法的时间复杂度比K-means高 AP 的中心点是样本中的某一个点,而K-means不是. import numpy as npfrom sklearn.cluster import AffinityPropagation # 阅读全文
posted @ 2019-06-21 21:46 childhood_2 阅读(793) 评论(0) 推荐(0)
0A04 无监督学习:聚类(1) k-means
摘要：这是一个非常简单的聚类算法,算法的目的就是找到这些中心点的合适坐标,使得所有样本到其分组中心点距离的平方和最小. K-means 的中心点向量不一定是训练样本中某成员的位置 import numpy as npfrom sklearn.cluster import KMeans # 引入K-mean 阅读全文
posted @ 2019-06-21 21:43 childhood_2 阅读(225) 评论(0) 推荐(0)
0x02　机器学习-交叉检验(附带保存训练好的模型)
摘要：０１机器学习可能出现的误差 1.过拟合　就是机器读死书，死记硬背，对作业掌握的不错，但是测试时就很糟糕 2.欠拟合　就是机器不好好学习，导致结果不令人满意 ０２交叉检验－１ 平均得分和多次循环求最优解 ０２交叉检验-２ 对结果一步一步的可视化 使用learning_curve分段评估结果的好坏 ０３ 阅读全文
posted @ 2019-06-10 14:13 childhood_2 阅读(647) 评论(0) 推荐(0)
0x01 机器学习入门
摘要：０１机器学习的主要几种方式 1.监督学习　－－＞就是像学生一样，有平时的训练，也有考试．来训练出的学生就是监督学习的结果 2.非监督学习　－－＞就像考研一样，没有人会检测你，全靠自己学 3.强化学习 －－＞一个人打篮球，每投一次球就知道结果，然后靠自己的经验的学习，叫做强化学习 4.遗传算法 －－＞ 阅读全文
posted @ 2019-06-09 23:59 childhood_2 阅读(200) 评论(0) 推荐(0)