随笔分类 -  spark

摘要:导入 Spark Mllib底层的向量、矩阵运算使用了Breeze库,Breeze库提供了Vector/Matrix的实现以及相应计算的接口(Linalg)。但是在MLlib里面同时也提供了Vector和Linalg等的实现。在使用Breeze库时,需要导入相关包: Import breeze.li 阅读全文
posted @ 2016-12-29 15:03 LT-blogs 阅读(5496) 评论(0) 推荐(1)
摘要:spark-2.0.2 机器学习库(MLlib)指南 MLlib是Spark的机器学习(ML)库。旨在简化机器学习的工程实践工作,并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成,包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。 机器学习库(MLli 阅读全文
posted @ 2016-12-28 11:29 LT-blogs 阅读(6100) 评论(3) 推荐(1)
摘要:1.mapValus(fun):对[K,V]型数据中的V值map操作(例1):对每个的的年龄加2 object MapValues { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setA 阅读全文
posted @ 2016-12-22 10:29 LT-blogs 阅读(2215) 评论(0) 推荐(0)