Hadoop集群搭建
一.准备Linux环境（虚拟机）
1.先将虚拟机的网络模式选为NAT
2.修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hdp-node-01
3.修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.1.101" ###
4.修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.101 hdp-node-01
192.168.1.102 hdp-node-02
192.168.1.103 hdp-node-03
5.关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
6.重启Linux
reboot
二.安装JDK
1.上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk1.7.tar.gz
2.解压jdk
#创建文件夹
mkdir /home/hadoop/app
#解压
tar -zxvf jdk1.7.tar.gz -C /home/hadoop/app
3.将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
三.安装hadoop集群
1.上传hadoop安装包到/home/hadoop/app目录下
2.修改配置文件
（1）vi hadoop-env.sh
# 配置jdk路径
export JAVA_HOME=/home/hadoop/app/jdk1.7
（2）vi core-site.xml
<configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-node-01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value>
</property>
</configuration>
（3）vi hdfs-site.xml
<configuration>
<#namenode元数据保存地址>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/name</value>
</property>
<#datanode元数据保存地址>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/data</value>
</property>
<#hdfs副本个数>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<#配置hdfs的web管理界面的访问地址>
<property>
<name>dfs.secondary.http.address</name>
<value>hdp-node-01:50090</value>
</property>
</configuration>
vi mapred-site.xml
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vi yarn-site.xml
<configuration>
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-node-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
vi salves（配置集群机器）
hdp-node-01
hdp-node-02
hdp-node-03
3.启动集群（方便脚本执行的话可以hadoop环境变量，启动过程需要多次输入密码，没有配置免密码登录）
初始化HDFS
bin/hadoop namenode -format
启动HDFS
sbin/start-dfs.sh
启动YARN
sbin/start-yarn.sh
验证是否启动成功 使用jps命令验证查看进程是否启动
http://192.168.1.101:50070 （HDFS管理界面）
http://192.168.1.101:8088 （MR管理界面）
四.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id localhost
---------------------------
ssh免登陆：
生成key:
ssh-keygen
复制从A复制到B上:
ssh-copy-id B
验证：
ssh localhost/exit，ps -e|grep ssh
ssh A #在B中执行
五.测试集群
1、上传文件到HDFS
从本地上传一个文本文件到hdfs的/wordcount/input目录下
[HADOOP@hdp-node-01 ~]$ HADOOP fs -mkdir -p /wordcount/input
[HADOOP@hdp-node-01 ~]$ HADOOP fs -put /home/HADOOP/somewords.txt /wordcount/input
2、运行一个mapreduce程序
在HADOOP安装目录下，运行一个示例mr程序
cd $HADOOP_HOME/share/hadoop/mapreduce/
hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input /wordcount/output
