通过Ambari快速搭建大数据平台
目录
HDP部署安装手册... I
1、环境配置... 3
1.1、关闭防火墙服务（所有节点）... 3
1.2、配置SSH免密码登录... 3
1.3、搭建本地http服务（主节点）... 4
1.4、配置hosts域名映射（所有节点）... 5
1.5、配置本地yum源仓库（所有节点）... 5
2、HDP部署安装... 7
2.1、安装JDK（所有节点）... 7
2.2、安装ambari-agent（所有节点）... 7
2.3、安装ambari-server（主节点）... 7
2.4、使用ambari部署HDP. 8
3、安装完成... 14
1、环境配置
1.1、关闭防火墙服务（所有节点）
l ip6tables
l iptables
l 查看当前防火墙状态： service iptables status
开启：service iptables start
关闭：service iptables stop
service --status-all
1.2、配置SSH免密码登录
在三个节点（此次为49、50、51）的ambari-server节点配置SSH免密码登录，可以不需要互通，但ambari-server节点（此次为49节点）必须能免密码登录其他节点主机。
.配置ssh无密码访问
1.master运行
ssh-keygen -t rsa，一路回车，这里会生成秘钥对
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
2.slave运行（两个子节点）
chmod 700 –R ~/.ssh
3.master上运行
scp ~/.ssh/authorized_keys root@172.19.189.50:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@172.19.189.51:~/.ssh/authorized_keys
4.测试：ssh 172.19.189.50 不用输入密码则成功
PS：很多人按照教程照做会失败，总结一下主要以下两个原因：
1) 缺少了第2步，导致master没有权限写slave的.ssh目录
2) 集群中所有机器必须使用相同的用户名（此处为root）
1.3、搭建本地http服务（主节点）
一开始各节点目录/var/www/html/下文件如图1-3所示
图1-3
选择任意一台节点主机（此处为49），将HDP安装包和系统源复制到/var/www/html/目录下（local_dvd为系统源），复制过去后目录如图1-4所示（HDP安装包和系统源是从别的已经安装好的节点上取过来的）：
图1-4
启动HTTPD服务（service httpd start），在浏览器输入IP访问该站点，页面正常显示目录文件则说明搭建成功，如图1-5所示：
图1-5
1.4、配置hosts域名映射（所有节点）
编辑 /etc/hosts 文件，增加IP地址的域名映射并分发到各个节点。如图1-6，第1、2行不变，如第3、4、5、6行一样，一个IP地址对应多个域名，空格区分，其中public-repo-1.hortonworks.com 域名映射的IP地址就是上一步中搭建的HTTPD服务所在的节点IP地址，该域名用于HDP的安装下载地址。保存之后，可以尝试用ping命令检查映射是否指向到了正确的节点IP地址。
1.5、配置本地yum源仓库（所有节点）
yum源仓库的配置存在 /etc/yum.repos.d/ 目录，yum会读取所有以repo结尾的源仓库信息来下载安装程序。这里我们需要将后面使用到的HDP程序的源仓库、Linux的源仓库添加进来。
ambari.repo, HDP.repo, HDP-UTILS.repo 三个文件分别存在HDP的三个程序包里，复制出来即可！
hdp.repo 在/var/www/html/HDP/centos6/2.x/GA/2.2.0.0/下
ambari.repo 在/var/www/html/ambari/centos6/1.x/updates/1.7.0/下
HDP-UTILS.repo 在/var/www/html/HDP-UTILS-1.1.0.20/repos/centos6/下
- 复制过来后，需要注意文件内的链接地址可能需要本机的实际情况修改一下
一开始hdp-util.repo文件内容如图1-10下：
但链接并不能访问到，此时执行加后面2、3操作，会报错，如图1-11所示，提示hdp-util中路径有问题：
修改后的hdp-util.repo文件内容如图1-12下：
也可以把172.19.189.49改为public-repo-1.hortonworks.com（即为在1.4中所配置的映射），如图1-13所示：
其他的两个文件也需根据实际情况进行修改。
- 增加之后，分别分发到其他节点，并在各个节点执行 yum clean all, yum clean packages 两个命令来清理yum的缓存；
- 执行yum search ambari-agent 命令来检查yum源仓库是否配置正确；
2、HDP部署安装
2.1、安装JDK（所有节点）
安装的路径统一为 /usr/java下，需要增加default软链接指向JDK目录。
2.2、安装ambari-agent（所有节点）
yum install ambari-agent
2.3、安装ambari-server（主节点）
yum install ambari-server
按提示回车或输入yes即可，默认情况下会安装pgsql数据库，用户名和密码都是ambari。
执行service --status-all，会提示：
Ambari-server status
Ambari Server not running. Stale PID File at: /var/run/ambari-server/ambari-server.pid
需进行设置，执行ambari-server setup，进行相关设置，选择java时选择之前配置的路径（选3，手动配置路径），数据库选择1（即默认的，也可不选直接回车），如图1-14所示：
启动server和agent服务：service ambari-server start service ambari-agent start（三个节点）
2.4、使用ambari部署HDP
登录ambari，默认admin，admin
给集群取个名字
选择HDP版本，根据实际情况选择。
在目标主机里，输入需要安装的节点域名，并且输入免密码登录的密钥，其中SSH Private Key可以从主节点（49）上复制id_rsa文件中的内容也可以从主节点上下载到本地。
Ambari会主动检查节点的状态，如果出现错误，可以根据日志排查问题
根据实际情况选择需要安装的服务。安装时会显示需要配置的节点参数，都不需要改动，直接默认安装。
以下均是根据自己需要进行选择
3、安装完成
安装完成后，再次登录ambari控制台检查服务。
默认用户名和密码均为：admin
4、错误
出现下面错误的原因是openssl问题
5、卸载
删除HDP（可能执行后并没有删除干净，关注一下最后一步）：
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users
删除ambari：
yum remove ambari-server（主节点）
yum remove ambari-agent（所有节点）
删除数据：（所有节点）
rm -rf /storage/disk1/*
rm -rf /storage/disk2/*
rm -rf /storage/disk3/*
rm -rf /storage/disk4/*
rm -rf /usr/hdp
rm -rf /tmp/*
rm -rf /usr/lib/ambari-server
rm -rf /etc/ambari-agent
rm -rf /etc/ambari-server
rm -rf /var/log/ambari-server
rm -rf /var/lib/ambari-server
rm -rf /usr/lib/ambari-agent
rm -rf /var/log/ambari-agent
rm -rf /var/lib/ambari-agent
删除数据库信息（主节点）：
rm -rf /var/lib/pgsql/data
删除ssh远程时的配置文件（可选）：
rm -rf /root/.ssh/known_hosts
rm -rf /root/.ssh/authorized_keys
清理缓存：（所有节点）
yum clean all
yum clean packages
重启：（所以节点）
Reboot
在卸载完后重新安装时，到下面这一步时，注意点击一下” Click here to see the warnings.”:
此处可以在各个 节点上再执行一下
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users
