2021年4月14日
spark-steaming的exactly-once
摘要： spark实时计算中会存在数据丢失和数据重复计算的场景， 在receiver收到数据且通过driver的调度executor开始计算数据的时候如果driver突然崩溃，则此时executor就会被杀掉，executor中的数据就会丢失，为了防止executor中的数据丢失，此时要通过WAL的方式让所 阅读全文
posted @ 2021-04-14 21:47 肥仔佳文猪 阅读(116) 评论(0) 推荐(0)