摘要: 大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。一个文件一旦创建、写入、关闭之后就不需要修改了。这个假定简单化了数据一致的问题和并使高吞吐量的数据访问变得可能。1. 读文件从上图可以看出,客户端读取数据时,首先从namenode获取如下信息(这些元数据信息是在内存中,所以查询速度很快,这个过程对客户端是透明的):a. 该文件有哪些数据块b.这些数据块都放在哪里或者说是取哪个节点上的什么数据块然后,客户端直接从datanode中以文件流的方式读取数据最后,关闭这个文件流一个问题:因为每个数据块都有三个备份,那么取哪个比较好?选取读取代价最小的节点,首先会在同一个节点中选取(如果客 阅读全文
posted @ 2013-09-03 00:26 樱色布 阅读(1019) 评论(0) 推荐(0) 编辑