2022年4月10日
Java 编写sparkstreaming检查点机制（checkpoint）
摘要： 因为sparkStreaming流程序是24小时不间断的运行，所以为了防止出现故障导致程序停止，sparkStreaming需要将足够的信息保存到容错存储系统中，以便于可以从故障中恢复。 一、检查点有两种： 1、元数据检查点 将定义流失计算的信息保存到容错存储系统中，如HDFS等。这可用于从运行流应 阅读全文
posted @ 2022-04-10 15:10 巴啦啦小花总 阅读(196) 评论(0) 推荐(0)