09 2017 档案

Kafka + spark stream +redis （createStream + createDirectStream）
摘要：我们的应用场景是分析用户使用手机App的行为，描述如下所示： 1、手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列 2、后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择Spark Streaming 3、 阅读全文
posted @ 2017-09-13 17:06 一瓢一瓢的饮 阅读(25) 评论(0) 推荐(0)
spark的JdbcRDD的源码修改--创建JdbcRDD时可以不加条件进行查询
摘要：在我们使用JdbcRDD时系统默认的参数如下： sc: SparkContext, getConnection: () => Connection, sql: String, lowerBound: Long, upperBound: Long, numPartitions: Int, mapRow 阅读全文
posted @ 2017-09-08 18:41 一瓢一瓢的饮 阅读(21) 评论(0) 推荐(0)