2019年3月11日
Spark Streaming连接Kafka的两种方式 direct 跟receiver 方式接收数据的区别
摘要： Receiver是使用Kafka的高层次Consumer API来实现的。 Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。 然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。 如果 阅读全文
posted @ 2019-03-11 11:06 Questions张 阅读(1280) 评论(0) 推荐(0)