摘要：Shuffle是map和reduce中间的数据调度过程，包括：缓存、分区、排序等。 Shuffle数据调度过程： Shuffle数据调度过程（大图链接）： 阅读全文

摘要：NameNode职责 响应客户端请求 维护目录树 管理元数据(查询，修改) HDFS元数据存储 checkpoint操作的触发条件配置参数： 元数据的checkpoint 阅读全文

摘要：1. HDFS读数据流程 1、与NameNode通信查询元数据，找到文件块所在的DataNode服务器 2、挑选一台DataNode（网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode）服务器，请求建立socket流 3、DataNode开始发送数据(从磁盘里面读取数据放入流，以pac 阅读全文