xuejianbest

摘要： DataFrame和parquet文件以下spark表示SparkSession对象df表示DataFrame对象从parquet文件加载DataFrame：val df = spark.read.parquet("input_file_path.parqu... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1291) 评论(0) 推荐(0)

摘要： Spark SQL支持用户自定义函数（UDF），我们可以方便的利用udf函数来完成各种数据处理操作。下面例子展示了用UDF功能对一个数据集进行转换操作（将输入df的某列进行处理，将处理结果作为新列附加在新生成的df上）：var in = spark.crea... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1550) 评论(0) 推荐(0)

摘要：使用数据透视函数pivot：val list = List( (2017, 1, 100), (2017, 1, 50), (2017, 2, 100), (2017, 3, 50), (2018, 2, 200), (2018, 2,... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1498) 评论(0) 推荐(0)

摘要： groupBy分组和使用agg聚合函数demo：df.show+----+-----+---+|YEAR|MONTH|NUM|+----+-----+---+|2017| 1| 10||2017| 1| 5||2017| 2| 20||2... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(6494) 评论(0) 推荐(0)

摘要： spark2+引入了SparkSession，封装了1.0的SparkContext和SqlContext。在spark-shell中有个spark变量是默认的SparkSession对象。读取和保存举例：spark表示SparkSession对象ds表示D... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(510) 评论(0) 推荐(0)

摘要：看这个程序：import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.kafka010._import org.apach... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(645) 评论(0) 推荐(0)

摘要：如下图：首先StreamingContext中设置的间隔秒数（此处为3秒），只是决定了job调度器每隔多久汇总接受器接收到的数据，作为一个批次处理（一个批次即一个rdd）。rdd会放入一个未处理的队列，rdd数据可以是空，即没有真正数据，这时候rdd.cou... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(376) 评论(0) 推荐(0)

摘要：注册：// 创建它的SparkSession对象终止前有效df.createOrReplaceTempView("tempViewName") // spark应用程序终止前有效df.createOrReplaceGlobalTempView("tempV... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1985) 评论(0) 推荐(0)

摘要： VectorAssembler将不同的特征列进行组合，成为特征向量列，作为训练学习器的输入列。val df = spark.createDataset(List( (1, "a", 3), (2, "", 4))).toDF("f1", "f2", "... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(978) 评论(0) 推荐(0)

摘要：二元转换BinarizerBinarizer是将连续型变量根据某个阈值，转换成二元的分类变量。小于该阈值的转换为0，大于该阈值的转换为1。要求输入列必须是double，int都会报错。如下：输入的是0.1，0.8，0.2连续型变量，要以0.5为阈值来转换成二... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1252) 评论(0) 推荐(0)