05 2017 档案

Python学习（一）
摘要：Python学习（一） 一：开发工具安装 1,pycharm下载：Linux版本 2，破解：在help-register下-service输入： http://elporfirio.com:1017/或 http://idea.imsxm.com/ 二：常用插件下载及安装： 1，下载安装pip 2, 阅读全文
posted @ 2017-05-30 21:28 DamonDr 阅读(655) 评论(1) 推荐(0)
SparkMLlib聚类学习之KMeans聚类
摘要：SparkMLlib聚类学习之KMeans聚类 （一），KMeans聚类 k均值算法的计算过程非常直观： 1、从D中随机取k个元素，作为k个簇的各自的中心。 2、分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇。 3、根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中 阅读全文
posted @ 2017-05-25 20:40 DamonDr 阅读(8368) 评论(0) 推荐(0)
SparkMLlib回归算法之决策树
摘要：SparkMLlib回归算法之决策树 （一），决策树概念 1，决策树算法（ID3，C4.5 ，CART）之间的比较： 1，ID3算法在选择根节点和各内部节点中的分支属性时，采用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息。 2　ID 阅读全文
posted @ 2017-05-24 16:24 DamonDr 阅读(3359) 评论(3) 推荐(1)
SparkMLlib学习之线性回归
摘要：SparkMLlib学习之线性回归 （一）回归的概念 1，回归与分类的区别 分类模型处理表示类别的离散变量，而回归模型则处理可以取任意实数的目标变量。但是二者基本的原则类似，都是通过确定一个模型，将输入特征映射到预测的输出。回归模型和分类模型都是监督学习的一种形式。 2.回归分类 线性回归模型：本质 阅读全文
posted @ 2017-05-23 20:37 DamonDr 阅读(5122) 评论(0) 推荐(0)
SparkMLlib分类算法之决策树学习
摘要：SparkMLlib分类算法之决策树学习 （一） 决策树的基本概念 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的 阅读全文
posted @ 2017-05-21 11:32 DamonDr 阅读(4888) 评论(0) 推荐(0)
SparkMLlib分类算法之支持向量机
摘要：SparkMLlib分类算法之支持向量机 （一），概念 支持向量机(support vector machine)是一种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型， 阅读全文
posted @ 2017-05-20 17:15 DamonDr 阅读(2421) 评论(0) 推荐(0)
SparkMLlib分类算法之逻辑回归算法
摘要：SparkMLlib分类算法之逻辑回归算法 （一），逻辑回归算法的概念（参考网址：http://blog.csdn.net/sinat_33761963/article/details/51693836） 逻辑回归与线性回归类似，但它不属于回归分析家族（主要为二分类），而属于分类家族，差异主要在于变 阅读全文
posted @ 2017-05-20 16:18 DamonDr 阅读(5492) 评论(1) 推荐(0)
SparkMLib分类算法之朴素贝叶斯分类
摘要：SparkMLib分类算法之朴素贝叶斯分类 （一）朴素贝叶斯分类理解 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。简单来说，朴素贝叶斯分类器假设样本每个特征与其他特征都不相关。举个例子，如果一种水果具有红，圆，直径大概4英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些 阅读全文
posted @ 2017-05-19 21:50 DamonDr 阅读(4232) 评论(0) 推荐(0)
SparkMLlib基础内容
摘要：SparkMLlib基础内容 （一），多种数据类型 1.1 本地向量集 def testVetor: Unit ={ val vd:Vector=Vectors.dense(2,3,6) println(vd(2))//输出结果为6,稠密型数据集下标从0开始依次递增 val vr:Vector=Ve 阅读全文
posted @ 2017-05-19 09:43 DamonDr 阅读(519) 评论(0) 推荐(0)
spark+zookeeper构建HA
该文被密码保护。
posted @ 2017-05-15 10:05 DamonDr 阅读(1) 评论(0) 推荐(0)
RDD算子
该文被密码保护。
posted @ 2017-05-13 16:18 DamonDr 阅读(2) 评论(0) 推荐(0)
编译spark源码及塔建源码阅读环境
摘要：编译spark源码及塔建源码阅读环境 （一），编译spark源码 1，更换maven的下载镜像： <mirrors> <!-- 阿里云仓库 --> <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</ 阅读全文
posted @ 2017-05-12 16:33 DamonDr 阅读(116) 评论(0) 推荐(0)
Centos7塔建完全分布式塔建Spark2.1.0
该文被密码保护。
posted @ 2017-05-12 11:17 DamonDr 阅读(4) 评论(0) 推荐(0)
第11章：Graphx计算框架
该文被密码保护。
posted @ 2017-05-08 20:59 DamonDr 阅读(2) 评论(0) 推荐(0)
SparkGraphx框架及简单应用
该文被密码保护。
posted @ 2017-05-07 16:55 DamonDr 阅读(2) 评论(0) 推荐(0)
Spark机器学习之协同过滤算法
摘要：Spark机器学习之协同过滤算法 一）、协同过滤 1.1 概念 协同过滤是一种借助"集体计算"的途径。它利用大量已有的用户偏好来估计用户对其未接触过的物品的喜好程度。其内在思想是相似度的定义 1.2 分类 1.在基于用户的方法的中，如果两个用户表现出相似的偏好（即对相同物品的偏好大体相同），那就认为 阅读全文
posted @ 2017-05-04 16:56 DamonDr 阅读(6722) 评论(0) 推荐(1)