SparkDr

摘要： 统计学习方法概论： （一），统计学习 1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法（重点：模型的集合，策略（模型的选择），算法（模型的实现调优）） （二），监督学习重要概念 1，输入空间，特征向量空间，输出空间，预测问题分为（回归问题（输出为连续即可），分类问题，标 阅读全文

摘要： 一，面向对象编程 1，类和实例, 2，访问限制 1，如果要让内部属性不被外部访问，可以把属性的名称前加上两个下划线__ 2，但是如果外部代码要获取name和score怎么办？可以给Student类增加get_name和get_score这样的方法,，好处：可以对参数做检查，避免传入无效的参数： 3， 阅读全文

摘要： 一，高级特性： 1，切片：[start:stop:step] 2,迭代 2.1按itervalues() 2.2 按iteritems() 2.3 带索引输出：enumerate 2.4 生成器：一边循环一边计算的机制，称为生成器（Generator），有利于节省存储空间，相当于链表中next （二 阅读全文

摘要： Python学习：基本概念 一，python的特点： 1，python应用场景多;爬虫，网站，数据挖掘，可视化演示。 2，python运行速度慢，但如果CPU够强，这差距并不明显。 3,严格的缩进式编程 二，python输入 1，print 'hello world'，‘Dr’　(中文：# -*- 阅读全文

摘要： Python学习（一） 一：开发工具安装 1,pycharm下载：Linux版本 2，破解：在help-register下-service输入： http://elporfirio.com:1017/或 http://idea.imsxm.com/ 二：常用插件下载及安装： 1，下载安装pip 2, 阅读全文

摘要： SparkMLlib聚类学习之KMeans聚类 （一），KMeans聚类 k均值算法的计算过程非常直观： 1、从D中随机取k个元素，作为k个簇的各自的中心。 2、分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇。 3、根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中 阅读全文

摘要： SparkMLlib回归算法之决策树 （一），决策树概念 1，决策树算法（ID3，C4.5 ，CART）之间的比较： 1，ID3算法在选择根节点和各内部节点中的分支属性时，采用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息。 2　ID 阅读全文

摘要： SparkMLlib学习之线性回归 （一）回归的概念 1，回归与分类的区别 分类模型处理表示类别的离散变量，而回归模型则处理可以取任意实数的目标变量。但是二者基本的原则类似，都是通过确定一个模型，将输入特征映射到预测的输出。回归模型和分类模型都是监督学习的一种形式。 2.回归分类 线性回归模型：本质 阅读全文

摘要： SparkMLlib分类算法之决策树学习 （一） 决策树的基本概念 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的 阅读全文

摘要： SparkMLlib分类算法之支持向量机 （一），概念 支持向量机(support vector machine)是一种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型， 阅读全文