2017年1月3日
Spark踩坑记——Spark Streaming+Kafka
摘要： [TOC] 前言 在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafk 阅读全文
posted @ 2017-01-03 21:35 xlturing 阅读(90675) 评论(13) 推荐(9) 编辑