03 2020 档案

MapReduce流程
摘要：MapReduce流程 一个简单WordCount程序 一、准备工作 1.MapReduce基于yarn组件，想要做MapReduce就必须先开启hdfs和yarn。 start-dfs.sh //开启hdfs start-yarn.sh //开启yarn 2.yarn组件依赖于hdfs组件。所以使 阅读全文
posted @ 2020-03-04 17:00 phy2020 阅读(611) 评论(0) 推荐(0)
hdfs读写流程，checkpoint流程
摘要：一、HDFS写流程 流程： 1.客户端向NameNode通信请求上传文件,附带path 2.namenode进行检查 检查的内容：1.hdfs的文件目录2.权限检查3.集群状态4.租约检查 3.NameNode返回是否可以上传 4.得到肯定回复后，客户端切块，再次请求存放的datanode地址。 5 阅读全文
posted @ 2020-03-01 12:12 phy2020 阅读(1234) 评论(0) 推荐(0)