摘要：
marpreduce运行平台YARN marpreduce程序应该是在很多机器上并行启动,并且先执行map task,当众多的map task都处理完自己的数据后,还需要启动众多的reduce task,需要一个自动化的调度平台,hadoop中就为运行mapreduce之类的分布式运算程序开发了一个 阅读全文
posted @ 2020-08-19 11:13
祈欢
阅读(50)
评论(0)
推荐(0)
摘要：
hdfs的核心工作原理--namenode元数据管理要点 1.什么是元数据? hdfs的目录结构及每一个文件块的信息(块的id,块的副本数量,块的存放位置datanode) 2.元数据由namenode负责管理 3.namenode把元数据记录在哪里? namenode的实时的完整的元数据存储在内存 阅读全文
posted @ 2020-08-19 11:05
祈欢
阅读(114)
评论(0)
推荐(0)
摘要：
1.Hadoop常用命令 单进程启动 start-dfs.sh 查看指定目录下内容 hdfs dfs -ls [目录] 创建目录 hdfs dfs -mkdir [新目录] 打开文件 hdfs dfs -cat [文件路径] 重命名文件 hdfs dfs -mv [原文件名] [新文件名] 上传文件 阅读全文
posted @ 2020-08-19 10:43
祈欢
阅读(113)
评论(0)
推荐(0)
浙公网安备 33010602011771号