hadoop例子程序:求圆周率和wordcount

首先,hadoop01运行起来hdfs,进入hadoop目录,sbin目录下,./start-all.sh
hadoop03运行yarn资源管理        hadoop目录  sbin/start-yarn.sh
hadoop456运行zookeeper节点    /root/soft/zookeeper-3.4.6/bin        ./zkServer.sh

现在集群已经全部启动起来了,其实只需要启动hdfs即可

在根目录创建文本testwords,上传到hdfs的根目录
hadoop dfs -put testwords /        报错连接不到hadoop02

当hdfs都启动起来时候。上传成功

查看


进入到例子的目录中:


执行命令:
 hadoop jar hadoop-mapreduce-examples-2.7.1.jar  wordcount /testwords /testwordsresult
wordcount :表示使用Wordcount这个程序                                  处理哪个文件        输出到哪个目录
查看结果文件:

查看统计的结果:

先查看生成result文件夹没有
查看result文件夹下面的内容
查看success文件内容,可以看出,统计结果已经出来了


2,使用自带的example程序计算圆周率
 hadoop jar hadoop-mapreduce-examples-2.7.1.jar pi 5 5
使用这个命令

后面2个数字参数的含义: 
     第1个5指的是要运行5次map任务 
     第2个数字指的是每个map任务,要投掷多少次 

结果是:4





下面简单写一点hdfs shell操作的命令:
可用 hadoop fs -help查看都有哪些命令
hadoop  fs -get/put/cat/rm/ls/chown/chomod/df/h/ 
fs指的是filesystem,操作的意思
-chown改变所属的组
-chomod   改变权限       777表示可读可写可执行
-df 查看空间
-df -h 易于阅读的查看空间大小
-df -s -h 查看文件大小
-mkdir 创建目录
-rm -r 删除目录
-mv 移动




















posted @ 2015-11-19 23:06  暗夜小精灵~~  阅读(1525)  评论(0编辑  收藏  举报