2017年11月19日
Spark LR逻辑回归中RDD转DF中VectorUDT设置
摘要： System.setProperty("hadoop.home.dir", "C:\\hadoop-2.7.2"); val spark = SparkSession.builder().config(new SparkConf().setAppName("LR").setMaster("local[*]")).config("spark.sql.warehouse.dir", "fil... 阅读全文
posted @ 2017-11-19 22:10 bf378 阅读(1935) 评论(0) 推荐(0)
Spark机器学习中ml和mllib中矩阵、向量
摘要： 1：Spark ML与Spark MLLIB区别？ Spark MLlib是面向RDD数据抽象的编程工具类库，现在已经逐渐不再被Spark团队支持，逐渐转向Spark ML库，Spark ML是面向DataFrame编程的。 2：Spark ML与Spark MLLIB中矩阵、向量定义区别？ 这两个 阅读全文
posted @ 2017-11-19 11:24 bf378 阅读(4520) 评论(0) 推荐(0)