百里登风

导航

1.Cloudera Manager安装

安装环境采用2台虚拟机进行,一台master, 一台slave1

先安装好centos 6.5 两台,并设置静态ip

怎么安装可以参考地址:https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html

 

 

关闭防火墙

设置成disabled

 

service iptables stop 手工停止防火墙
chkconfig iptables off 设置开机不启动防火墙
chkconfig iptables --list 查看防火墙服务 

另外一台slave1也是一样的操作。

 

 

 设置/etc/hosts, 整个集群里全部节点都要配置进去, 两个节点都配置。

vim  /etc/hosts

192.168.189.140 master
192.168.189.141 slave1
127.0.0.1 localhost

 

下载安装包

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.15.1/RPMS/x86_64/

 

 

 

下载 repo 文件和 Installer.bin
下载 repo 文件: http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
下载 Installer.bin 文件: http://archive.cloudera.com/cm5/installer/5.15.1/

 

 

 

 

把包上传到master机器上

 

 

 

 

 

移动文件

mv cloudera-manager.repo /etc/yum.repos.d/

 

 

 

修改文件cloudera-manager.repo 

[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64                  
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.15.1/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1

 

 

 

执行 yum clean all 清空 yum 缓存

 

 

yum list|grep cloudera 验证 repo 文件是否起效

 

 

 

 

安装rpm包

yum install -y *.rpm

 

 

 

 

 

 

rpm -qa|grep cloud
rpm -qa|grep java
rpm -qa|grep jdk
rpm -qa|grep oracle

 

 

 

 

然后运行.bin 安装 CM Server, 只需要一台节点安装 CM Server 

chmod +x cloudera-manager-installer.bin

 

 

 

执行

./cloudera-manager-installer.bin

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Cm Server 的日志目录: /var/log/cloudera-scm-server
安装过程日志目录: /var/log/cloudera-manager-installer

 

cm 相关的安装目录都在/var/lib 下, 日志都在/var/log 下。
Jdk 安装目录在/usr/java 下。

 

 

常见问题:

Installer.bin 安装过程失败后, 常有的问题:

1、 自动修改了 repo 文件名, 出现后缀 rpmnew rpmsave(备份)两个文件。

其中 rpmsave 后缀的是已有 repo 文件重命名后的, rpmnew 是新产生的(说明官方建议用最新版 
本) 。
怎么解决: 1、 把 rpmsave 文件改名为 cloudera-manager.repo
2、 清空 yum 缓存, yum clean all
3、 重试 installer.bin

 

等几分钟,打开地址 http://192.168.189.140:7180/

用户名:admin

密码:admin

 

 

 

 

 

 

 

安装 CDH 有两种方式, 一种是使用 rpm 包(需要联网) , 另一种是使用 parcels 包(离线) 。
parcels 方式不需要联网, 且安装简洁, 也是官方推荐的方式

 

parcels 方式安装步骤, 仅在 master 节点进行操作

1.手工下载软件包。
下载地址: http://archive.cloudera.com/cdh5/parcels/5.15.1/

下载如下红色标出的 3 个文件 :

 

 

el 是红帽、 Centos 等系统的, el6 对应 Centos 6.x

下载后把这 3 个文件放到/opt/cloudera/parcel-repo 目录下, 该目录在 cm 安装后已自动创建

 

 

 

2、 把 CDH-5.15.1-1.cdh5.15.1.p0.11-el6.parcel.sha1 的后缀改为.sha ;
内容只保留 hashCode 部分。

mv CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

把这里改成需要安装的版本

 

 

 

 

 

 

 

 

 

 

 

这里需要注意,每个节点的账户密码要保持一致

 

 

 

将master的rpm包发送到slave1上

scp -r cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el6.x86_64.rpm cloudera-manager-daemons-5.15.1-1.cm5151.p0.3.el6.x86_64.rpm slave1:/opt/soft/cm/

 

 

 

scp cloudera-manager.repo slave1:/etc/yum.repos.d/

 

 

 

 

到slave1检查一下文件内容

 

 

 

 

清理一下缓存

yum clean all

 

 

 

 

 

scp -r jdk-6u31-linux-amd64.rpm oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm slave1:/opt/soft/cm/

 

 

 

 

 

 

在slave1节点安装一下rpm包

yum install -y *.rpm

 

 

 

 

 

先终止安装,因为之前在slave1中忘记安装rpm包了,如果终止时间比较长,可以刷新页面,重复前面的几个步骤

 

 

 

 

如果遇到这样的报错信息

 

 

解决办法:
1、 检查/etc/hosts
2、 如果 1 解决不了, 则在该节点上重启
查服务名称: chkconfig --list|grep cloud
执行重启命令: service cloudera-scm-agent restart
然后界面里点击重试。

 

 

 

 

 

 

我们逐个问题解决

先解决时钟不同步的问题

 

 

 

 

 

 ntpdate pool.ntp.org

 

 

 

 

 

可以看到时钟同步问题已经解决

 

针对这个问题

 

 

分别在master  slave1上运行以下语句

先临时修改

sysctl vm.swappiness=10
cat /proc/sys/vm/swappiness

 

 

 

 

 

 

再永久修改

echo 'vm.swappiness=10'>> /etc/sysctl.conf

 

 

 

 

 

可以看到问题解决了

 

 

 

 

针对这个问题

 

 

在master  slave1上分别运行

 echo never > /sys/kernel/mm/transparent_hugepage/defrag
 echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

遇到这个问题,把/dfs目录下的内容删除掉,所以节点都这样操作,再重新运行一次即可

 

 

posted on 2019-12-11 15:54  百里登峰  阅读(308)  评论(0编辑  收藏  举报