2014年11月3日
DataNode节点的数据块管理 FSVolumeSet、FSVolume
摘要： 在分布式文件系统HDFS中，DataNode节点被用来存储文件的数据，确切的来说就是HDFS中的每一个文件是分块来存储的，一个文件可能有多个数据块，每一个数据块有多个副本，而且数据块的不同副本存储在不同的DataNode节点上，所以如果把整个HDFS集群看做一台机器的话，那么每一个DataNode节... 阅读全文
posted @ 2014-11-03 18:22 小螺 阅读(1144) 评论(0) 推荐(0)
[hadoop源码阅读][8]-datanode-FSDataset
摘要： 与块相关的操作由Dataset相关的类处理，存储结构由大到小是卷（FSVolume）、目录（FSDir）和文件（Block和元数据等）block相关block类有三个属性private long blockId;//blockidprivate long numBytes;//block大小priv... 阅读全文
posted @ 2014-11-03 17:35 小螺 阅读(299) 评论(0) 推荐(0)
2014年9月23日
记一则Hadoop DataNode OOM故障,以及解决方案
摘要： 一、故障症状最近公司一个集群跑大任务时，datanode日志报DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread异常，然后计算节点上的DataNode直接挂掉。... 阅读全文
posted @ 2014-09-23 18:48 小螺 阅读(2628) 评论(0) 推荐(0)
Hadoop中shuffle阶段流程分析
摘要： Hadoop中shuffle阶段流程分析MapReduce longteng9个月前 (12-23)399浏览0评论宏观上，Hadoop每个作业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据-》执行map函数-》combin... 阅读全文
posted @ 2014-09-23 18:47 小螺 阅读(631) 评论(0) 推荐(0)