Hadoop安装配置

hadoop版本：hadoop-2.6.5.tar.gz

1、免密登录配置

　　1.1、进入home目录

　　1.2、执行

ssh-keygen （一路回车）

　　1.3、进入.ssh目录，将公钥添加到authorized_keys文件

cat id_rsa.pub >> authorized_keys

　　1.4、修改authorized_keys文件权限 

chmod 600 authorized_keys

　　1.5、验证 ssh localhost 不需要输入密码即表示配置成功

2、配置hadoop

　　2.1、进入安装目录解压

tar -zxf hadoop-2.6.5.tar.gz

　　2.2、修改 hadoop-2.6.5/etc/hadoop/hadoop-env.sh

JAVA_HOME=/usr/java/jdk1.8.0_131

　　2.3、修改 hadoop-2.6.5/etc/hadoop/hdfs-site.xml

<!--存储副本的数量-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<!--namenode存储文件，路径需要自己创建-->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop-data/dfs/name</value>
</property>

<!--datanode-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop-data/dfs/data</value>
</property>

　　2.4、修改 hadoop-2.6.5/etc/hadoop/core-site.xml

<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop-data</value>
</property>

<!--hdfs默认的IP和端口 代替fs.default.name-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>

　　2.5、创建目录

mkdir -p /usr/local/hadoop-data/dfs/name
mkdir -p /usr/local/hadoop-data/dfs/data

　　2.6、配置mapred-site.xml（yarn相关配置）

cp mapred-site.xml.template mapred-site.xml

修改mapred-site.xml文件

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

 

　　2.7、配置yarn-site.xml(yarn相关配置)

<property>
    <name>yarn.nodemanager.aux-service</name>
    <value>mapreduce_shuffle</value>
</property>

3、启动hadoop

　　3.1、格式化namenode

./hadoop-2.6.5/bin/hdfs namenode -format

　　3.2、启动hdfs

./hadoop-2.6.5/sbin/start-dfs.sh

　　3.3、验证 jps 存在NameNode、DataNode、SecondaryNameNode即表示启动成功

4、hdfs操作

　　4.1、查看 

./hadoop-2.6.5/bin/hdfs dfs -ls /

　　4.2、创建 

./hadoop-2.6.5/bin/hdfs dfs -mkdir /test