2015年9月23日

Spark Streaming + Flume整合官网文档阅读及运行示例

摘要： 1,基于Flume的Push模式(Flume-style Push-based Approach) Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Fl... 阅读全文

posted @ 2015-09-23 15:56 吴一达 阅读(302) 评论(0) 推荐(0)

Spark-streaming 连接flume

摘要： 1,程序为spark的example中的FlumeEventCount示例 object FlumeEventCount { def main(args: Array[String]) { StreamingExamples.setStreamingLogLevels() //... 阅读全文

posted @ 2015-09-23 14:17 吴一达 阅读(231) 评论(0) 推荐(0)

Spark-SQL连接MySql关系型数据库

摘要： 本文主要分析Spark SQL官方文档中有关于JDBC To Other Databases部分，以MySQL数据库为例，结合数据读写操作的实例代码进行详细的分析。本文中的代码需要使用到Mysql JDBC连接jar包。 一、从mysql读取数据 1、单表查询 完... 阅读全文

posted @ 2015-09-23 11:58 吴一达 阅读(425) 评论(0) 推荐(0)

导航