Mac Hadoop的安装与配置

这里介绍Hadoop在mac下的安装与配置。

安装及配置Hadoop

首先安装Hadoop

$ brew install Hadoop

配置ssh免密码登录
用dsa密钥认证来生成一对公钥和私钥:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

将生成的公钥加入到用于认证的公钥文件中:

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

接下来测试一下是否配置成功

$ ssh localhost

如果遇到connection refused之类的错误,检查一下mac是否开启远程登录功能,在系统偏好设置中可以设置。

配置Hadoop文件

core-site.xml文件配置如下:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

hdfs-site.xml配置如下;
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

mapred-site.xml配置如下:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

yarn-site.xml配置如下:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

以上过程需要注意的是如果mapred-site.xml文件不存在,需要自己创建(可以复制一下mapred-site.xml.template文件再进行修改)

运行Hadoop样例程序

此部分内容主要参考自Setting up Hadoop 2.6 on Mac OS X Yosemite

  1. 进入Hadoop的目录,以mac系统为例目录为
    /usr/local/Cellar/hadoop/2.7.2/libexec
    然后格式化文件系统:
    $ bin/hdfs namenode -format
  2. 启动NameNode和DataNode的守护进程。
    $ sbin/start-dfs.sh
  3. 启动ResourceManager和NodeManager的守护进程。
    $ sbin/start-yarn.sh
  4. 访问localhost:50070和localhost:8088测试是否正常。
  5. 创建hdfs目录:
    $ bin/hdfs dfs -mkdir -p /user/robin/input
  6. 拷贝一些文件到input目录:
    $ bin/hdfs dfs -put etc/hadoop input
  7. 运行样例: (下面命令中的hadoop版本号是2.7.2,根据你自己的hadoop版本修改版本号)
    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
  8. 在localhost:50070中的Utilities标签下找到/user/robin目录,下载part-r-00000文件,可以看到其中内容如下所示:
4   dfs.class
4   dfs.audit.logger
3   dfs.server.namenode.
2   dfs.period
2   dfs.audit.log.maxfilesize
2   dfs.audit.log.maxbackupindex
1   dfsmetrics.log
1   dfsadmin
1   dfs.servers
1   dfs.replication
1   dfs.file
posted @ 2016-07-29 00:35 活在夢裡 阅读(...) 评论(...) 编辑 收藏