Spark Streaming的容错和数据无丢失机制
摘要:spark是迭代式的内存计算框架,具有很好的高可用性。sparkStreaming作为其模块之一,常被用于进行实时的流式计算。实时的流式处理系统必须是7*24运行的,同时可以从各种各样的系统错误中恢复。 在实际使用中,容错和数据无丢失显得尤为重要。最近看了官网和一些博文,整理了一下对Spark St
阅读全文
posted @ 2017-04-06 11:57
posted @ 2017-04-06 11:57