摘要: 一 Hadoop的I/O1 数据完整性检测损坏数据的常用方法是在第一次进入系统时计算数据的校验和,如果新生成的校验和不完全匹配原始的校验和,那么数据就被认为是被损坏了。每个512字节都有一个单独的校验和。数据节点负责在存储数据及其校验和前验证它们收到的数据。客户端写入数据并且将它发送到一个数据节点的管线中,在管线上的最有一个数据节点验证校验和。如果此节点检测到错误,客户端便会收到一个checksum excption。除了对客户端读取数据进行验证,每个数据节点还会在后台线程运行一个DataBlockScanner(数据块检测程序),定期验证存储在数据节点上的所有块,防止物理损坏。由于HDFS存 阅读全文
posted @ 2013-05-19 15:38 suzhou 阅读(143) 评论(0) 推荐(0) 编辑