代码改变世界

pyspark通过zookeeper管理kafka偏移量

2019-04-02 16:51 by 有印良品, 1008 阅读, 0 推荐, 收藏,
摘要：在spark streaming集成kafka时，如何处理其偏移量的问题，由于spark streaming自带的checkpoint弊端非常明显，所以一些对数据一致性要求比较高的项目里面，不建议采用其自带的checkpoint来做故障恢复。 在spark streaming1.3之后的版本支持di 阅读全文