2019年6月27日
spark streaming 接收kafka消息之四 -- 运行在 worker 上的 receiver
摘要： 使用分布式receiver来获取数据使用 WAL 来实现 At least once 操作： conf.set("spark.streaming.receiver.writeAheadLog.enable","true") // 开启 WAL // 1、At most once - 每条数据最多被处 阅读全文
posted @ 2019-06-27 23:40 JohnnyBai 阅读(1368) 评论(0) 推荐(0) 编辑