摘要：Datanode在把数据实际存储之前会验证数据的校验和. client通过pipeline把数据写入datanode. 最后一个datanode会负责检查校验和. 当client从datanode读取数据时,也会检查校验和: 把真实数据的校和合同datanode上的校验和进行比较. 阅读全文

摘要：hadoop设计的初衷就是容错.计算任务(MapReduce task)能够在节点宕机或其它随机错误下自行恢复. 但是hadoop并不完美,在实际运营中,我发现MapReduce Job仍然经常会因为一些偶发性错误而 运行失败.所以我决定深入探究一下各种不同因素是如何导致job失败的. 如果一个hadoop job的某个给定task在失败预定次(默认是4)后,整个job就会失败. 这可以通过"mapred.map.max.attempts"和"mapred.reduce.max.attempts"属性来设置. 一个task可能由于各种偶发原因而失败 - 比如我发现的情况就有磁盘满,hadoop本身的bug,或者硬件失效(e.g.: 磁盘只读). 阅读全文

摘要：聊天模式无非点对点聊天和群组聊天.下面一一来分析.1. Peer-to-Peer聊天消息格式:[from, to, body, timestamp, isread].(根据from来识别是个人还是group消息)消息读取方式标记模式置位模式是否要存储:不需要需要[Group Chatting]:标记模式每个用户拥有一个timestamp类型的消息游标.(sequence number不利于shar... 阅读全文