摘要: 监控hdfs的一个目录,若有新文件,spark就开始处理这个文件,可以使用spark streaming textfilestream来监控该目录 阅读全文
posted @ 2018-11-04 12:50 uuhh 阅读(2416) 评论(0) 推荐(0)
摘要: 有可能是消费过慢,导致一个session周期内未完成消费。导致心跳监测报告出问题。消费了的offset未成功提交。 有可能是消费失败,trasactionID未成功保存。导致消费到一半回退了。 阅读全文
posted @ 2018-11-04 10:55 uuhh 阅读(898) 评论(0) 推荐(0)