02 2021 档案

Spark3.0搭建
摘要：安装： sudo tar -zxf /home/hadoop/下载/spark-3.0.1-bin-hadoop3.2.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-3.0.1-bin-hadoop3.2/ ./spark sudo chown - 阅读全文
posted @ 2021-02-23 22:14 ziyuliu 阅读(740) 评论(0) 推荐(0)
无监督学习包含算法
摘要：聚类 K-means(K均值聚类) 降维 PCA K-means原理 我们先来看一下一个K-means的聚类效果图 K-means聚类步骤 1、随机设置K个特征空间内的点作为初始的聚类中心 2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别 3、接着对着标记的聚类中 阅读全文
posted @ 2021-02-19 16:28 ziyuliu 阅读(361) 评论(0) 推荐(0)
模型保存和加载
摘要：当训练或者计算好一个模型之后，那么如果别人需要我们提供结果预测，就需要保存模型（主要是保存算法的参数） sklearn模型的保存和加载API from sklearn.externals import joblib 保存：joblib.dump(rf, 'test.pkl') 加载：estimato 阅读全文
posted @ 2021-02-18 22:29 ziyuliu 阅读(70) 评论(0) 推荐(0)
分类算法-逻辑回归与二分类
摘要：逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。 逻辑回归的应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 看到上面的例子，我们可以 阅读全文
posted @ 2021-02-18 18:06 ziyuliu 阅读(798) 评论(0) 推荐(0)
线性回归的改进-岭回归
摘要：带有L2正则化的线性回归-岭回归 岭回归，其实也是一种线性回归。只不过在算法建立回归方程时候，加上正则化的限制，从而达到解决过拟合的效果 API sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", norma 阅读全文
posted @ 2021-02-18 00:20 ziyuliu 阅读(448) 评论(0) 推荐(0)
线性回归
摘要：线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 特点：只有一个自变量的情况称为单变量回归，大于一个自变量情况的叫做多元回归 损失函数 总损失定义为： y_i为第i个训练样本的真实值 h(x_i)为第i 阅读全文
posted @ 2021-02-18 00:00 ziyuliu 阅读(410) 评论(0) 推荐(0)
集成学习方法之随机森林
摘要：集成学习方法之随机森林 什么是集成学习方法 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。 什么是随机森林 在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的 阅读全文
posted @ 2021-02-10 00:28 ziyuliu 阅读(162) 评论(0) 推荐(0)
决策树
摘要：认识决策树 决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法 怎么理解这句话？通过一个对话例子 想一想这个女生为什么把年龄放在最上面判断！！！！！！！！！ 决策树分类原理详解 为了更好理解决策树具体怎么分类的，我们通过一 阅读全文
posted @ 2021-02-08 00:43 ziyuliu 阅读(266) 评论(0) 推荐(0)
朴素贝叶斯算法
摘要：朴素贝叶斯分类方法 概率基础 概率(Probability)定义 概率定义为一件事情发生的可能性 扔出一个硬币，结果头像朝上 某天是晴天 P(X) : 取值在[0, 1] 条件概率与联合概率 联合概率：包含多个条件，且所有条件同时成立的概率 记作：P(A,B) 特性：P(A, B) = P(A)P( 阅读全文
posted @ 2021-02-06 22:47 ziyuliu 阅读(287) 评论(0) 推荐(0)
第十讲 让机器像人类一样学习--强化学习-----学习总结
摘要：00 阅读全文
posted @ 2021-02-06 17:26 ziyuliu 阅读(35) 评论(0) 推荐(0)
第九讲 深层次学习的艺术--深度学习-----学习总结
摘要：00 阅读全文
posted @ 2021-02-06 17:24 ziyuliu 阅读(53) 评论(0) 推荐(0)
第八讲 来自维数的诅咒--维度灾难-----学习总结
摘要：00 阅读全文
posted @ 2021-02-06 17:22 ziyuliu 阅读(124) 评论(0) 推荐(0)
模型选择与调优---交叉验证与网格搜索
摘要：为什么需要交叉验证 交叉验证目的：为了让被评估的模型更加准确可信 什么是交叉验证(cross validation) 交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终 阅读全文
posted @ 2021-02-05 17:15 ziyuliu 阅读(773) 评论(0) 推荐(0)
分类算法-----K-近邻算法
摘要：定义 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 距离公式 两个样本的距离可以通过如下公式计算，又叫欧式距离 K-近邻算法API sklearn.neighbors.KNeighborsClassifier(n_neighbor 阅读全文
posted @ 2021-02-04 23:34 ziyuliu 阅读(206) 评论(0) 推荐(0)
第七讲 摸着石头过河，蒙着眼睛爬山--最优化-----学习总结
摘要：第七讲 摸着石头过河，蒙着眼睛爬山--最优化 阅读全文
posted @ 2021-02-04 23:28 ziyuliu 阅读(114) 评论(0) 推荐(0)
第六讲 取其精华、去其糟粕--降维-----学习总结
摘要：第六讲 取其精华、去其糟粕--降维 阅读全文
posted @ 2021-02-04 23:23 ziyuliu 阅读(95) 评论(0) 推荐(0)
第五讲 物以类聚，人以群分--聚类-----学习总结
摘要：00 阅读全文
posted @ 2021-02-03 23:39 ziyuliu 阅读(76) 评论(0) 推荐(0)
第四讲 三个臭皮匠，顶个诸葛亮--模型提升-----学习总结
摘要：.. 阅读全文
posted @ 2021-02-02 00:23 ziyuliu 阅读(72) 评论(0) 推荐(0)
主成分分析
摘要：主成分分析 什么是主成分分析(PCA) 定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量 作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。 应用：回归分析或者聚类分析当中 API sklearn.decomposition.PCA(n_compon 阅读全文
posted @ 2021-02-01 17:39 ziyuliu 阅读(549) 评论(0) 推荐(0)