2016年4月25日
Spark Streaming和Kafka整合开发指南(二)
摘要： 在本博客的《Spark Streaming和Kafka整合开发指南(一)》文章中介绍了如何使用基于Receiver的方法使用Spark Streaming从Kafka中接收数据。本文将介绍如何使用Spark 1.3.0引入的Direct API从Kafka中读数据。 和基于Receiver接收数据不 阅读全文
posted @ 2016-04-25 13:36 吉日木图 阅读(403) 评论(0) 推荐(0)
Spark Streaming和Kafka整合开发指南(一)
摘要： Apache Kafka是一个分布式的消息发布-订阅系统。可以说，任何实时大数据处理工具缺少与Kafka整合都是不完整的。本文将介绍如何使用Spark Streaming从Kafka中接收数据，这里将会介绍两种方法：（1）、使用Receivers和Kafka高层次的API；（2）、使用Direct 阅读全文
posted @ 2016-04-25 13:25 吉日木图 阅读(268) 评论(0) 推荐(0)