2019年6月16日
spark Streaming
摘要： Spark Streaming输入 //*************** Spark Streaming 的输入 ************** 1、 文件数据源 1、Spark Streaming通过streamingContext.fileStream[KeyClass, ValueClass, I 阅读全文
posted @ 2019-06-16 10:03 夜半钟声到客船 阅读(276) 评论(0) 推荐(0)
spark sql
摘要： Spark Sql //************** Spark SQL ******************* 1、Spark SQL 是Spark套件中的一个模块，他将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。 2、Spark SQL的特点： 1、和Spark Core的无缝集成，我可以在写整... 阅读全文
posted @ 2019-06-16 09:48 夜半钟声到客船 阅读(484) 评论(0) 推荐(0)