摘要：
作者从容错、性能等方面优化了长时间运行在yarn上的spark-Streaming作业 对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长 阅读全文
摘要：
生产者 消费者 查询topic的offset offset最小值 offset最大值 可以查询出offset的范围 阅读全文