关于HDFS数据Checksum
摘要: Datanode在把数据实际存储之前会验证数据的校验和.
client通过pipeline把数据写入datanode. 最后一个datanode会负责检查校验和.
当client从datanode读取数据时,也会检查校验和: 把真实数据的校和合同datanode上的校验和进行比较.
阅读全文
posted @
2009-09-25 00:47 彭帅 阅读(526) |
评论 (0) 编辑
hadoop MapReduce Job失效模型
摘要: hadoop设计的初衷就是容错.计算任务(MapReduce task)能够在节点宕机或其它随机错误下自行恢复.
但是hadoop并不完美,在实际运营中,我发现MapReduce Job仍然经常会因为一些偶发性错误而
运行失败.所以我决定深入探究一下各种不同因素是如何导致job失败的.
如果一个hadoop job的某个给定task在失败预定次(默认是4)后,整个job就会失败.
这可以通过"mapred.map.max.attempts"和"mapred.reduce.max.attempts"属性来设置.
一个task可能由于各种偶发原因而失败 - 比如我发现的情况就有磁盘满,hadoop本身的bug,或者硬件失效(e.g.: 磁盘只读).
阅读全文
posted @
2009-09-08 02:07 彭帅 阅读(2070) |
评论 (6) 编辑
设计遐想---基于Google App Engine的IM
摘要: 聊天模式无非点对点聊天和群组聊天.下面一一来分析.1. Peer-to-Peer聊天消息格式:[from, to, body, timestamp, isread].(根据from来识别是个人还是group消息)消息读取方式标记模式置位模式是否要存储:不需要需要[Group Chatting]:标记模式每个用户拥有一个timestamp类型的消息游标.(sequence number不利于shar...
阅读全文
posted @
2009-09-01 16:57 彭帅 阅读(418) |
评论 (0) 编辑