hadoop的伪分布式

 

 

 

 

 

 

 

 

 

 

 

 

cd $HADOOP_HOME/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_131

vim core-site.xml

vim hdfs-site.xml

vim yarn-site.xml

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

 

 

 

 

 

 

启动并验证hdfs集群

Start-dfs.sh

jps

浏览器访问Localhost:50070查看hdfs集群状态：

注意：有时不能访问50070端口，看看你的服务器的防火墙是否关闭了的

 

 

 

启动并验证yarn:

浏览器访问localhost:8088来查看yarn集群的状态

注意：有时候不能访问8088端口，看看你的/etc/hosts 是否配置出错了

 

 

以hadoop自带的wordcount为例来演示伪分布式模式hadoop集群的使用：

 

Hdfs dfs -mkdir /user/hadoop/input

 

Hdfs dfs –put $HADOOP_HOME/*.txt /user/hadoop/input

 

Hdfs dfs –ls /user/hadoop/input

 

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

 

Hdfs dfs -cat output/*

可以通过浏览器访问yarn集群，查看程序运行状态：