会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
博客园
首页
新随笔
联系
订阅
管理
03 2015 档案
sparkStreaming消费kafka-0.8方式:direct方式(存储offset到zookeeper)
摘要:生产中,为了保证kafka的offset的安全性,并且防止丢失数据现象,会手动维护偏移量(offset) 版本:kafka:0.8 其中需要注意的点: 1:获取zookeeper记录的分区偏移量 2:获取broker中实际的最小和最大偏移量 3:将实际的偏移量和zookeeper记录的偏移量进行对比
阅读全文
posted @
2015-03-11 16:41
niutao
阅读(977)
评论(0)
推荐(0)