Hadoop学习笔记（二）搭建伪分布式和集群模式的环境

 

 

 

 

 

 

 

 

 配置Hadoop2.6.4：https://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html

 格式化：hadoop namenode -format

验证：hdfs:主机名：50070

        yarn :主机名：8088

               

 

               

 

                                  

                  远程发送文件：scp -r 文件名 主机名 ：$pwd(与当前主机相同的目录)

 

  

 

 配置core-site.xml ，hdfs-site.xml，yarn-site.xml，mapred-site.xml，slate文件

格式化（必须在主节点）

启动：

start-dfs.sh(在任意节点都可以启动)；start-yarn.sh(只能在yarn的主节点启动)

集群搭建问题：

 

 

 

 

 

 

 

 

 

 

 

 

 

Master:逻辑上的组件

 

 

 单机模式读取的是本地数据；

 

 

 

 

 

 Master:逻辑上的组件

 

 

 单机模式读取的是本地数据；