2017年3月23日
SparkStreaming “Could not read data from write ahead log record” 报错分析解决
摘要： SparkStreaming开启了checkpoint wal后有时会出现如上报错，但不会影响整体程序，只会丢失报错的那个job的数据。其根本原因是wal文件被删了，被sparkstreaming自己的清除机制删掉了。通常意味着一定程度流式程序上存在速率不匹配或堆积问题。 查看driver日志可发现 阅读全文
posted @ 2017-03-23 15:02 Lhfcws 阅读(1128) 评论(0) 推荐(0)