离线安装Cloudera Manager5.2.0和CDH5 2.0

第一次安装出现了各种问题,尤其是对于不是太熟悉linux系统的更是头疼不已呀!特此记录一下,希望能够让小伙伴们少走点弯路。

 

 

1.给机器添加路由 (根据自己的机器情况,可以忽略)
 
route add -net 172.17.2.0 netmask 255.255.255.0 gw 192.168.0.1 (windows)
 
route /p add 172.17.2.0 mask 255.255.255.0 192.168.0.1(linux)
 
2.集群主机配置
2.1 、配置静态 IP
2.2、关闭虚拟机防火墙
在防火墙开启的情况下,执行如下两条命令。
永久关闭防火墙:chkconfig iptables off
关闭命令:  service iptables stop
两个命令同时运行,运行完成后查看防火墙关闭状态
service iptables status
2.3、关闭selinux
1 .命令:sudo vi /etc/sysconfig/selinux
2.“SELINUX=”后的信息为“disabled”
3.重启机器 指令 reboot
2.4、更改主机名
vi /etc/sysconfig/network
2.5、账户的建立和权限的分配
# useradd ai
# passwd ai
分配sudo权限
若没有sudo命令 直接安装 yum -y install sudo
1.添加用户cube
adduser cube
2.给用户加密码
passwd cube
然后输入两次密码。
3.查看sudo是否安装
rpm -qa|grep sudo
4.修改sudoers文件
visudo -f /etc/sudoers
在root ALL=(ALL) ALL 之后增加
cube ALL=(ALL)     NOPASSWD:ALL
# 这个在切换时,不需要输入密码

2.6、修改hosts的文件
修改/etc/hosts文件
如下:
172.17.2.146 hd01.domain.com hd01
172.17.2.147 hd02.domain.com hd02
172.17.2.148 hd03.domain.com hd03
172.17.2.149 hd04.domain.com hd04
172.17.2.150 hd05.domain.com hd05
这一步需要在每台机器上都要设置
2.7、配置ssh无密码登录
1、确认本机sshd的配置文件(root)
$ vi /etc/ssh/sshd_config

  找到以下内容,并去掉注释符"#"
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
2、 如果修改了配置文件需要重启sshd服务(root),否则忽略该步骤
$sudo /sbin/service sshd restart
3、 ssh登陆系统 后执行测试命令
$ ssh localhost
$ssh –p 10001 cb2
  回车会提示你输入密码,因为此时我们还没有生成证书。
4、 生成证书公私钥的步骤
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5、 认证登陆远程服务器
  备注:远程服务器OpenSSH的服务当然要启动。
$cat ~/.ssh/id_dsa.pub | ssh 远程用户名@远程服务器ip 'cat - >> ~/.ssh/authorized_keys'
例子: $cat ~/.ssh/id_dsa.pub | ssh root@192.168.15.171 'cat - >> ~/.ssh/authorized_keys'
(所有机器之间需要全部无密码互通,否则后面会出现问题)
比如:ssh端口已由22转为10001
cat ~/.ssh/id_dsa.pub | ssh –P 10001 cube@192.168.15.47 'cat - >> ~/.ssh/authorized_keys'
权限很重要。登录端的 .ssh才目录权限是  ssh-keygen自己生成的不要乱改。默认.ssh目录是700 , id_rsa 是600  不能多也不能少,
如果有写的权限会导致 ssh认为这个文件不可靠,可能被改写。被登录的机器 .ssh 目录是 700 至少不能有写的权限。里面的 authorized_keys 权限 644

2.8、在用作集群Master的机器上,修改MaxStartup。
a.     执行命令:cd /etc/ssh
b.     执行命令:sudo vi sshd_config
c.     在倒数12行,修改MaxStartups 的值为100,并把#去掉
d.     执行命令:sudo service sshd restart
2.9、在所有主机上,修改对打开文件数的的限制。
a.     执行命令:cd /etc/security
b.     执行命令:sudo vi  limits.conf
c.     添加一行:*     -      nofile     65536
 
3、建立yum 本地源 
(注意:有的机器使用YUM安装会提示无法解析链接,请ping www.baidu.com 测试一下DNS是否能解析成功,如果不行,执行 echo "nameserver 8.8.8.8">>/etc/resolv.conf 再试一下  如果还不行  就看看机器是否能连接外网)
3.1 、在源服务器中安装 web服务
#yum install httpd 
3.2 、启动httpd
#service httpd start
3.3 、安装创建源工具 (该步不是必须项)
yum install createrepo
3.4时钟同步
在每台主机上执行如下语句:
sudo service ntpd stop
sudo ntpdate pool.ntp.org
sudo service ntpd start
sudo chkconfig ntpd on
4. 安装postgresql
   查看 postgres 默认的相关的包
执行 rpm -qa|grep postgres
卸载相关的包。
执行 rpm –e postXXXXX

1.安装postgresql9.0 yum 仓库

rpm -i http://yum.postgresql.org/9.2/redhat/rhel-6-x86_64/pgdg-redhat92-9.2-7.noarch.rpm

2.安装新版本的Postgresql

yum install postgresql92-server postgresql92-contrib

3.初始化数据库

/etc/init.d/postgresql-9.2 initdb

4.启动数据库

/etc/init.d/postgresql-9.2 start

注意:postgresql启动后就可以利用service postgresql-9.2 start/restart/stop来控制它了。

虽然打完service后,按p不提示postgresql-9.2,但是可以用手输。

5.把postgresql加入自启动列表

cd /etc/init.d

chkconfig --add postgresql-9.2

6.查看一下自启动列表

chkconfig --list
chkconfig postgresql-9.2 on 设置开机启动

在这里可以看到postgresql已经在其中了。

7.PostgreSQL 数据库默认会创建一个postgres的数据库用户作为数据库的管理员,默认密码为空,我们需要修改为指定的密码,这里设定为’postgres’

 

 直接在控制台输入以下命令:

# su - postgres

$ psql

# ALTER USER postgres WITH PASSWORD 'postgres';
# select * from pg_shadow ;
# create database david;
# \c david
david=# create table test (id integer, name text);
 
david=# insert into test values (1,'david');
 
至上,安装成功。
 
# env 查看所有环境变量内容 
设置环境变量  
export PATH=(将原来的PATH复制过来)+:/var/lib/pgsql:/etc/init.d
 
 
5.搭建cm本地源
1.下载目录连接,请根据自己的需要选择合适的版本 注意:CM和CDH版本必须要一致
 
     我使用的是5.2.0版本的
存放在作为Master机器上的/var/www/html目录
  tar -xvf  cm5.2.0-centos6.tar.gz    tar -xvf  cdh5.2.0-centos6.tar.gz
 
解压完成后  在浏览器上访问一下http://ip/cm/5.2.0 看是否能访问,如果能访问,说明本地cm源搭建好了
 
6、安装CM
 
6.1 cm5的安装
/etc/yum.repos.d/下新建cloudera-manager.repo ,用于使用本地源安装,文件内容为:
[cloudera-manager]
name = Cloudera Manager, Version 5.2.0
baseurl = http://ip/cm/5.2.0/  (IP为自己作为Master主机的IP)
gpgcheck = 0
 
启动cloudera-manager-installerd.bin
cd /var/www/html
sudo ./ cloudera-manager-installerd.bin
接下来,一路 next,如果源没问题,即可安装成功
可能出现的问题:安装到40%的时候可能过不去,查看安装日志,根据日志排除吧
可能出现的原因: 
原因1:没有安装postgresql
原因2:postgresql版本不支持(我开始安装了一个9.3的版本,总是过不去,找了半天原因)
 
cm5安装成功后,会提示通过 7180的关口访问cm server 安装的所在主机。
 
 
通过提示,输入账号( admin)与秘密(admin )即可进入安装向导
 
继续下一步。添加安装的主机,可以用机器名和IP 进行搜索
根据自己的机器端口  设置一下ssh端口  默认端口:22
 
 
继续下一步
在该步骤,选择自定义的存储库,输入本地源的地址。http://ip/cdh/5.2.0/
同样cloudera Manager agent也是选择自定义存储库,输入本地源的地址http://ip/cm/5.2.0/
继续下一步,就会到安装阶段了。
 
安装阶段可能出现的问题:
问题1:会停止获取安全锁
解决办法:确认vi /etc/hosts 里面配置的host是否正确
检查ssh能否无密码互相登录
 
问题2:cdh 安装失败。 无法接收 Agent 发出的检测信号。
解决办法:基本上也是host的原因,
还有就是需要确认一下所有机器上的防火墙是否关闭,如果没关闭,请按照上面关闭防火墙的指令进行关闭
 
如果没出现问题,就会提示安装完成
 
 
继续下一步

接下来是服务器检查,可能会遇到以下问题:

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:

通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

 
继续下一步 选择安装的服务(根据自己的需要)
 
服务配置,一般情况下保持默认就可以了(Cloudera Manager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了):
 
接下来是数据库的设置,检查通过后就可以进行下一步的操作了:
这一步的的数据库会默认选中Postgresql  把账号和密码记录下来
 
 
 
提示安装成功
 
 
后续的东西就根据自己的需要进行设置了
 
 
希望大伙安装顺利
posted @ 2014-11-07 15:01 缘来小詹 阅读(...) 评论(...) 编辑 收藏