功不唐捐-纯小喜

摘要： # Hadoop阶段学习总结 ## 第一部分：HDFS相关问题 ### 一、描述一下HDFS的数据写入流程 ​ 首先由客户端想NameNode服务发起写数据请求，NameNode接收到请求后会进行基本验证，验证内容包括对请求上传的路径进行合法验证其次还要对请求的用户进行权限验证。验证没有问题后，Na 阅读全文

摘要： map输出KV后，会存储到环形缓冲区（内存）中，然后分继续分区、排序（区内），达到80%的阀值后，会溢出到磁盘中，一个mapTask可能会溢写为几个文件，如果有多个文件，那么在磁盘中还会按照相同的分区编号进行归并（如来自不同溢出文件的分区1和分区1进行归并）；然后这时有一个可选流程，即对分区内的KV 阅读全文