摘要: Driver Program, Job和Stage是Spark中的几个基本概念。Spark官方文档中对于这几个概念的解释比较简单,对于初学者很难正确理解他们的涵义。 官方解释如下(http://spark.apache.org/docs/latest/cluster-overview.html):  阅读全文
posted @ 2016-04-25 15:49 至燃烧殆尽的青春 阅读(2633) 评论(0) 推荐(0)
摘要: 1、自动的进行磁盘数据和内存之间的无缝切换 2、基于lineage的高效容错,第n个出错,会从第n-1个开始执行 3、task失败会进行特定次数的重试 4、stage失败会自动进行特定次数的重试,并且只运行计算失败的数据分片 5、checkpoint(类似单机游戏里的存档)和presist,持久化c 阅读全文
posted @ 2016-04-21 22:48 至燃烧殆尽的青春 阅读(235) 评论(0) 推荐(0)
摘要: --小学生作文的开头:光阴似箭,日月如梭.....半年过去了,床底下又多了不少书,更新一个2.0版。 自从技术书的书架设定为”床底下“之后,又多了很多买书的空间。中国什么都贵,就是书便宜。 没有全部看完,看一部分觉得值得推荐就放上来了,但在碎片化的阅读下难免错评,不定期更新修正。 书架主要针对Jav 阅读全文
posted @ 2016-02-26 17:01 至燃烧殆尽的青春 阅读(189) 评论(0) 推荐(0)
摘要: 今天买了两本书, JAVA核心技术 卷1,看透spring mvc:源代码分析与实践 从 Java核心技术 卷1,后面几章开始看,希望坚持尽快啃完 阅读全文
posted @ 2016-02-26 16:16 至燃烧殆尽的青春 阅读(155) 评论(0) 推荐(0)
摘要: 就好比一个皇帝和太监:有一天皇帝想幸某个美女,于是跟太监说,今夜我要宠幸美女,皇帝往往不会告诉太监,今晚几点会回宫,会回哪张龙床,他只会告诉太监他要哪位美女,其它一切都交由太监去安排,到了晚上皇帝回宫时,自然会有美女出现在皇帝的龙床上,这就是控制反转,而把美女送到皇帝的寝宫里面去就是注射,太监就是是 阅读全文
posted @ 2016-02-26 15:12 至燃烧殆尽的青春 阅读(275) 评论(1) 推荐(0)