摘要：
一、概要 这篇文章，给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时，如何进行性能优化？ 二、背景引入 先引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，这个事儿能成吗？ 明显不可以接受啊，因为HDFS上的文件是不允许并发写的，比如并发的追加一些数据什么。 阅读全文
随笔分类 - hadoop
hadoop集群基本进程
2019-08-30 17:02 by jackyu888, 1347 阅读, 收藏,
摘要：
namenode namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。 阅读全文
浙公网安备 33010602011771号