2019年12月8日
spark streaming整合kafka
摘要： spark streaming整合kafka的简单例子 阅读全文
posted @ 2019-12-08 21:41 手写伪代码 阅读(600) 评论(0) 推荐(0) 编辑
spark streaming常用调优
摘要： 1、Spark Streaming第一次运行不丢失数据 kafka参数 auto.offset.reset 参数设置成earliest 从最初始偏移量开始消费数据。 2、Spark Streaming精准一次消费 手动维护偏移量 处理完业务数据后，再进行提交偏移量操作 极端情况下，如在提交偏移量时断 阅读全文
posted @ 2019-12-08 21:30 手写伪代码 阅读(973) 评论(0) 推荐(0) 编辑