随笔分类 - 人工智能之spark MLLib
spark传统机器学习
spark机器学习从0到1之Spark MLlib 机器学习（十九）
摘要：本章导读 机器学习(machine learning, ML)是一门涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多领域的交叉学科。ML专注于研究计算机模拟或实现人类的学习行为，以获取新知识、新技能，并重组已学习的知识结构使之不断改善自身。 MLlib是Spark提供的可扩展的机器学习库。ML
阅读全文
spark机器学习从0到1之spark机器算法从入门到实战（十八）
摘要：第1章 机器学习概述 1.1 机器学习是啥？ 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 即通
阅读全文
spark机器学习从0到1利用机器算法RFM模型做用户价值分析（十七）
摘要：一、案例背景 在产品迭代过程中，通常需要根据用户的属性进行归类，也就是通过分析数据，对用户进行归类，以便于在推送及转化过程中获得更大的收益。 本案例是基于某互联网公司的实际用户购票数据为研究对象，对用户购票的时间，购买的金额进行了采集，每个用户用手机号来区别唯一性。数据分析人员根据用户购买的时间和金
阅读全文
spark机器学习从0到1特征变换-标签和索引的转化（十六）
摘要：一、原理 在机器学习处理过程中,为了方便相关算法的实现,经常需要把标签数据(一般是字符串)转化成整数索引,或是在计算结束后将整数索引还原为相应的标签. Spark ML 包中提供了几个相关的转换器: StringIndexer,IndexToString,OneHotEncoder,VectorIn
阅读全文
spark机器学习从0到1特征选择-卡方选择器（十五）
摘要：一、公式 卡方检验的基本公式，也就是χ2的计算公式，即观察值和理论值之间的偏差 卡方检验公式 其中：A 为观察值，E为理论值，k为观察值的个数，最后一个式子实际上就是具体计算的方法了 n 为总的频数，p为理论频率，那么n*p自然就是理论频数（理论值） 二、相关概念 卡方分布：可以看出当观察值和理论值
阅读全文
spark机器学习从0到1特征抽取–Word2Vec（十四）
摘要：一、概念 Word2vec是一个Estimator，它采用一系列代表文档的词语来训练word2vecmodel。该模型将每个词语映射到一个固定大小的向量。word2vecmodel使用文档中每个词语的平均数来将文档转换为向量，然后这个向量可以作为预测的特征，来计算文档相似度计算等等。 二、代码实现
阅读全文
spark机器学习从0到1特征抽取–CountVectorizer（十三）
摘要：一、概念 CountVectorizer 旨在通过计数来将一个文档转换为向量。当不存在先验字典时，Countvectorizer作为Estimator提取词汇进行训练，并生成一个CountVectorizerModel用于存储相应的词汇向量空间。该模型产生文档关于词语的稀疏表示，其表示可以传递给其他
阅读全文
spark机器学习从0到1特征提取 TF-IDF(十二）
摘要：一、概念 “词频－逆向文件频率”（TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，它可以体现一个文档中词语在语料库中的重要程度。 词语由t表示，文档由d表示，语料库由D表示。词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。如果我们只使用词频来衡
阅读全文
spark机器学习从0到1机器学习工作流 (十一）
摘要：一、概念 一个典型的机器学习过程从数据收集开始，要经历多个步骤，才能得到需要的输出。这非常类似于流水线式工作，即通常会包含源数据ETL（抽取、转化、加载），数据预处理，指标提取，模型训练与交叉验证，新数据预测等步骤。 MLlib标准化了用于机器学习算法的API，从而使将多种算法组合到单个管道或工作流
阅读全文
spark机器学习从0到1聚类算法 (十）
摘要：一、概念 1.1、定义 按照某一个特定的标准（比如距离），把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不再同一个簇内的数据对象的差异性也尽可能的大。 聚类属于典型的无监督学习（Unsupervised Learning） 方法。与监督学习（如分类器）相比，无监督学习
阅读全文
spark机器学习从0到1协同过滤算法 (九）
摘要：一、概念 协同过滤算法主要分为基于用户的协同过滤算法和基于项目的协同过滤算法。 基于用户的协同过滤算法和基于项目的协同过滤算法 1.1、以用户为基础（User-based）的协同过滤 用相似统计的方法得到具有相似爱好或者兴趣的相邻用户，所以称之为以用户为基础（User-based）的协同过滤或基于邻
阅读全文
spark机器学习从0到1主成分分析-PCA (八）
摘要：PCA 一、概念 主成分分析（Principal Component Analysis）是指将多个变量通过线性变换以选出较少数重要变量的一种多元统计分析方法，又称为主成分分析。在实际应用场合中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个应用场合的某些信
阅读全文
spark机器学习从0到1奇异值分解-SVD (七）
摘要：降维（Dimensionality Reduction） 是机器学习中的一种重要的特征处理手段，它可以减少计算过程中考虑到的随机变量（即特征）的个数，其被广泛应用于各种机器学习问题中，用于消除噪声、对抗数据稀疏问题。它在尽可能维持原始数据的内在结构的前提下，得到一组描述原数据的，低维度的隐式特征（或
阅读全文
spark机器学习从0到1决策树(六）
摘要：一、概念 决策树及其集合是分类和回归的机器学习任务的流行方法。 决策树被广泛使用，因为它们易于解释，处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。 诸如随机森林和增强的树集合算法是分类和回归任务的最佳表现者。 决策树（decision tree）是一种基本的分类与回
阅读全文
spark机器学习从0到1支持向量机SVM(五）
摘要：分类 分类旨在将项目分为不同类别。 最常见的分类类型是二元分类，其中有两类，通常分别为正数和负数。 如果有两个以上的类别，则称为多类分类。 spark.mllib支持两种线性分类方法：线性支持向量机（SVM）和逻辑回归。 线性SVM仅支持二进制分类，而逻辑回归支持二进制和多类分类问题。 对于这两种方
阅读全文
spark机器学习从0到1逻辑斯蒂回归之(四）
摘要：逻辑斯蒂回归 一、概念 逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的，也可以是多分类的。logistic回归的因变量可以是二分非线性差分方程类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。
阅读全文
spark机器学习从0到1基本的统计工具之(三）
摘要：给定一个数据集，数据分析师一般会先观察一下数据集的基本情况，称之为汇总统计或者概要性统计。一般的概要性统计用于概括一系列观测值，包括位置或集中趋势（比如算术平均值、中位数、众数和四分位均值），展型（比如四分位间距、绝对偏差和绝对距离偏差、各阶矩等），统计离差，分布的形状，依赖性等。除此之外，spar
阅读全文
spark机器学习从0到1基本数据类型之(二）
摘要：MLlib支持存储在单个机器上的局部向量和矩阵，以及由一个或多个RDD支持的分布式矩阵。 局部向量和局部矩阵是用作公共接口的简单数据模型。 底层线性代数操作由Breeze提供。 在监督学习中使用的训练示例在MLlib中称为“标记点”。 一、本地向量 局部向量具有整数类型和基于0的索引和双类型值，存储
阅读全文
spark机器学习从0到1介绍入门之(一）
摘要：一、什么是机器学习 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具
阅读全文