xiao_e

随笔分类 -  spark

Spark Streaming的容错和数据无丢失机制
摘要:spark是迭代式的内存计算框架,具有很好的高可用性。sparkStreaming作为其模块之一,常被用于进行实时的流式计算。实时的流式处理系统必须是7*24运行的,同时可以从各种各样的系统错误中恢复。 在实际使用中,容错和数据无丢失显得尤为重要。最近看了官网和一些博文,整理了一下对Spark St 阅读全文

posted @ 2017-04-06 11:57 xiao_e 阅读(3439) 评论(0) 推荐(0)

导航