09 2020 档案

Spark容错机制
摘要：Spark以前的集群容错处理模型，像MapReduce，将计算转换为一个有向无环图（DAG）的任务集合，这样可以通过重复执行DAG里的一部分任务来完成容错恢复。但是由于主要的数据存储在分布式文件系统中，没有提供其他存储的概念，容错过程需要在网络上进行数据复制，从而增加了大量的消耗。所以，分布式编程中 阅读全文
posted @ 2020-09-02 16:37 惨遭虐泉的小学生 阅读(167) 评论(0) 推荐(0)