2017年8月6日
spark streaming 整合kafka(二)
摘要： 转载：https://www.iteblog.com/archives/1326.html 和基于Receiver接收数据不一样，这种方式定期地从Kafka的topic+partition中查询最新的偏移量，再根据定义的偏移量范围在每个batch里面处理数据。当作业需要处理的数据来临时，spark通 阅读全文
posted @ 2017-08-06 13:17 erererer 阅读(959) 评论(0) 推荐(0)
spark streaming 整合 kafka(一)
摘要： 转载：https://www.iteblog.com/archives/1322.html Apache Kafka是一个分布式的消息发布-订阅系统。可以说，任何实时大数据处理工具缺少与Kafka整合都是不完整的。本文将介绍如何使用Spark Streaming从Kafka中接收数据，这里将会介绍两 阅读全文
posted @ 2017-08-06 13:12 erererer 阅读(840) 评论(0) 推荐(0)