大葱拌豆腐 - 博客园

2018年1月31日

Spark2.0 特征提取、转换、选择之二：特征选择、文本处理，以中文自然语言处理(情感分类)为例

摘要：特征选择 RFormula RFormula是一个很方便，也很强大的Feature选择（自由组合的）工具。输入string 进行独热编码（见下面例子country）输入数值型转换为double（见下面例子hour） label为string，也用StringIndexer进行编号卡方独立检验阅读全文

posted @ 2018-01-31 17:45 大葱拌豆腐阅读(784) 评论(0) 推荐(0)

Spark2.0 特征提取、转换、选择之一：数据规范化，String-Index、离散-连续特征相互转换

摘要：数据规范化（标准化）在数据预处理时，这两个术语可以互换使用。（不考虑标准化在统计学中有特定的含义）。下面所有的规范化操作都是针对一个特征向量（dataFrame中的一个colum）来操作的。首先举一个例子： Normalizer 规范化将某个特征向量（由所有样本某一个特征组成的向量）计算其p 阅读全文

posted @ 2018-01-31 15:00 大葱拌豆腐阅读(1877) 评论(0) 推荐(0)

SVM实现多分类的三种方案

摘要：转载自：http://www.cnblogs.com/CheeseZH/p/5265959.html SVM本身是一个二值分类器 SVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。目前，构造SVM多类分类器的方法主要有两类（1）直接法，直接在目标函数上进行修改，阅读全文

posted @ 2018-01-31 11:15 大葱拌豆腐阅读(474) 评论(0) 推荐(0)

机器学习算法（优化）之一：梯度下降算法、随机梯度下降（应用于线性回归、Logistic回归等等）

摘要：本文介绍了机器学习中基本的优化算法—梯度下降算法和随机梯度下降算法，以及实际应用到线性回归、Logistic回归、矩阵分解推荐算法等ML中。梯度下降算法基本公式常见的符号说明和损失函数 X :所有样本的特征向量组成的矩阵 x(i) 是第i个样本包含的所有特征组成的向量x(i)=（x(i)1,x( 阅读全文

posted @ 2018-01-31 10:51 大葱拌豆腐阅读(339) 评论(0) 推荐(0)

2018年1月30日

Spark2.0机器学习系列之8：多类分类问题（方法归总和分类结果评估）

摘要：一对多（One-vs-Rest classifier）将只能用于二分问题的分类(如Logistic回归、SVM)方法扩展到多类。参考：http://www.cnblogs.com/CheeseZH/p/5265959.html “一对多”方法 Spark “一对多”代码 Spark中那些方法可以阅读全文

posted @ 2018-01-30 21:49 大葱拌豆腐阅读(1546) 评论(0) 推荐(0)

Spark2.0机器学习系列之7： MLPC（多层神经网络）

摘要： Spark2.0 MLPC（多层神经网络分类器）算法概述 MultilayerPerceptronClassifier（MLPC）这是一个基于前馈神经网络的分类器，它是一种在输入层与输出层之间含有一层或多层隐含结点的具有正向传播机制的神经网络模型。中间的节点使用sigmoid （logistic）阅读全文

posted @ 2018-01-30 17:13 大葱拌豆腐阅读(2031) 评论(0) 推荐(0)

2018年1月22日

Spark2.0机器学习系列之6：GBDT（梯度提升决策树）、GBDT与随机森林差异、参数调试及Scikit代码分析

摘要：概念梳理 GBDT的别称 GBDT(Gradient Boost Decision Tree),梯度提升决策树。 GBDT这个算法还有一些其他的名字，比如说MART(Multiple Additive Regression Tree)，GBRT(Gradient Boost Regression T 阅读全文

posted @ 2018-01-22 11:56 大葱拌豆腐阅读(3577) 评论(0) 推荐(0)

2018年1月20日

Spark日志级别修改

摘要：摘要在学习使用Spark的过程中，总是想对内部运行过程作深入的了解，其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息，那么如何进行合理设置呢，不复杂但也绝不是将一个INFO换为TRACE那么简单。主要问题调整Spark日志级别的配置文件是$SPARK_HOME/conf/lo 阅读全文

posted @ 2018-01-20 19:36 大葱拌豆腐阅读(680) 评论(0) 推荐(0)

Spark2.0机器学习系列之5：随机森林

摘要：概述随机森林是决策树的组合算法，基础是决策树，关于决策树和Spark2.0中的代码设计可以参考本人另外一篇博客： http://www.cnblogs.com/itboys/p/8312894.html随机森林Spark中基于Pipeline和DataFrame的代码编写和决策树基本上是一样的，只阅读全文

posted @ 2018-01-20 15:47 大葱拌豆腐阅读(714) 评论(0) 推荐(0)

Spark2.0 协同过滤推荐

摘要： ALS矩阵分解 http://blog.csdn.net/oucpowerman/article/details/49847979 http://www.open-open.com/lib/view/open1457672855046.html 一个的打分矩阵 A 可以用两个小矩阵和的乘积来近似,描阅读全文

posted @ 2018-01-20 14:40 大葱拌豆腐阅读(297) 评论(0) 推荐(0)

公告