4、环境搭建-Linux上Hadoop集群运行
配置Hadoop格式化
进入hadoop目录
bin/hdfs namenode -format
启动namenode相关
start-all.sh
查看HDFS报告
hdfs dfsadmin -report
浏览器查看节点状态http://master:50070 namenode和datanade信息
浏览器查看SecondaryNameNode状态信息 http://master:50090
启动yarn
start-yarn.sh
HDFS文件系统下创建/input目录
hdfs dfs -mkdir /input
hdfs dfs -ls /
复制用过的data.txt文件到HDFS文件系统的/input目录下
hdfs dfs -put ~/input/data.txt /input
hdfs dfs -ls /input
查看HDFS文件系统下是否有输出数据存放的目录，有则删除
hdfs dfs -ls /
#删除
hdfs dfs -rm -r -f /目录名字
执行wordcount案例
hadoop jar share/hadoop/mapreduce/hadoopmapreduce-examples-2.7.1.jar wordcount /input/data.txt /output
yarn集群查看http://master:8088
网页查看HDFS文件系统http://master:50070,菜单选择Utilities>Browse the file system
hdfs查看输出数据文件内容
hdfs dfs -cat /output/part-r-00000
停止hadoop
stop-yarn.sh #停止yarn
hadoop-daemon.sh stop datanode #停止datanode
hadoop-daemon.sh stop namenode #停止namenode
hadoop-daemon.sh stop secondarynamenode #停止secondarynamenode
