xuejianbest

摘要：看这个程序：import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.kafka010._import org.apach... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(650) 评论(0) 推荐(0)

摘要：如下图：首先StreamingContext中设置的间隔秒数（此处为3秒），只是决定了job调度器每隔多久汇总接受器接收到的数据，作为一个批次处理（一个批次即一个rdd）。rdd会放入一个未处理的队列，rdd数据可以是空，即没有真正数据，这时候rdd.cou... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(378) 评论(0) 推荐(0)

摘要：注册：// 创建它的SparkSession对象终止前有效df.createOrReplaceTempView("tempViewName") // spark应用程序终止前有效df.createOrReplaceGlobalTempView("tempV... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1987) 评论(0) 推荐(0)

摘要： VectorAssembler将不同的特征列进行组合，成为特征向量列，作为训练学习器的输入列。val df = spark.createDataset(List( (1, "a", 3), (2, "", 4))).toDF("f1", "f2", "... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(979) 评论(0) 推荐(0)

摘要：二元转换BinarizerBinarizer是将连续型变量根据某个阈值，转换成二元的分类变量。小于该阈值的转换为0，大于该阈值的转换为1。要求输入列必须是double，int都会报错。如下：输入的是0.1，0.8，0.2连续型变量，要以0.5为阈值来转换成二... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1266) 评论(0) 推荐(0)

摘要：数据标准化先定义一个dfimport org.apache.spark.ml.linalg.Vectorsval df = spark.createDataFrame(Seq( (0, Vectors.dense(1.0, 0.5, -1.0)), (1... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1255) 评论(0) 推荐(0)

摘要：使用spark-submit往yarn集群提交任务，deploy-mode可以采用client和cluster两种模式。若想使用hive功能，需要满足以下条件：初始化sparkSession对象的时候，指定enableHiveSupport选项；指定hive... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(2798) 评论(0) 推荐(0)

摘要： spark2+引入了SparkSession，封装了1.0的SparkContext和SqlContext。在spark-shell中有个spark变量是默认的SparkSession对象。读取和保存举例：spark表示SparkSession对象ds表示D... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(514) 评论(0) 推荐(0)

摘要： groupBy分组和使用agg聚合函数demo：df.show+----+-----+---+|YEAR|MONTH|NUM|+----+-----+---+|2017| 1| 10||2017| 1| 5||2017| 2| 20||2... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(6495) 评论(0) 推荐(0)

摘要：使用数据透视函数pivot：val list = List( (2017, 1, 100), (2017, 1, 50), (2017, 2, 100), (2017, 3, 50), (2018, 2, 200), (2018, 2,... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1500) 评论(0) 推荐(0)