CDH5.15.1安装部署
目录
三、安装Cloudera Manager Server 和Agent
一、软件环境
| NO. | 软件名称 | 版本 |
| 1 | 操作系统 | CentOS6.8 64位 |
| 2 | JDK | 1.8.0_73 |
| 3 | Cloudera Manager | 5.15.1 |
| 4 | CDH | 5.15.1 |
| 5 | 数据库 | MySQL5.7 |
| 6 | JDBC驱动 | 5.1.40 |
二、安装前准备
2.1配置网络名称(hostname)
(1)编辑/etc/sysconfig/network文件，修改HOSTNAME
| [root@kms-1 ~]# vi /etc/sysconfig/network |
如下图所示将主机名修改为kms-1.example.com
(2)编辑/etc/hosts文件，配置主机IP与主机名
| [root@kms-1 ~]# vi /etc/hosts |
配置的内容如下图所示
(3)对其他主机做上述相同操作
2.2配置SSH免密登录
(1)执行 ssh-keygen -t rsa命令，生成密钥
| [root@kms-1 ~]# ssh-keygen -t rsa |
输入命令之后，连续按四次回车键，如下图所示
(2)执行ssh-copy-id命令
| [root@kms-1 ~]# ssh-copy-id kms-1.example.com [root@kms-1 ~]# ssh-copy-id kms-2.example.com [root@kms-1 ~]# ssh-copy-id kms-3.example.com |
首先免密登录本地
然后免密登录其他主机
(3)在其他主机执行上述相同操作
2.3集群时间同步
(1)安装ntp，如果操作系统已经安装了，可以不用再安装
| [root@kms-1 ~]# yum install -y ntp |
(2)设置ntp开机启动
| [root@kms-1 ~]# chkconfig ntpd on |
(3)检查是否设置成功
| [root@kms-1 ~]# chkconfig --list ntpd |
如下图所示表示设置成功
(4)在其他主机上执行上述步骤
(5)主节点ntpserver配置
| [root@kms-1 ~]# vi /var/lib/ntp/drift restrict 127.0.0.1 restrict -6 ::1 restrict default nomodify notrap server 202.120.2.101 prefer includefile /etc/ntp/crypto/pw keys /etc/ntp/keys |
(6)启动主节点ntp服务
| [root@kms-1 ~]# service ntpd start |
(7)执行ntpstat命令查看同步状态
| [root@kms-1 ~]# ntpstat |
(8)从节点ntp客户端配置
| [root@kms-2 ~]# vi /var/lib/ntp/drift restrict 127.0.0.1 restrict -6 ::1 restrict default nomodify notrap server kms-1.example.com includefile /etc/ntp/crypto/pw keys /etc/ntp/keys |
(9)手动与主节点时间同步
| [root@kms-2 ~]# ntpdate -u kms-1.example.com |
(10)启动从节点ntp服务
| [root@kms-2 ~]# service ntpd start |
(11)查看从节点的时间同步状态
| [root@kms-2 ~]# ntpstat |
2.4关闭防火墙
(1)执行chkconfig iptables off
| [root@kms-1 ~]# chkconfig iptables off |
(2)执行service iptables stop
| [root@kms-1 ~]# service iptables stop |
(3)查看状态
| [root@kms-1 ~]# chkconfig --list iptables |
(4)在其他主机执行上述步骤
2.5关闭SELINUX
(1)编辑/etc/sysconfig/selinux，将SELINUX=enforcing改为SELINUX=disabled
| [root@kms-1 ~]# vi /etc/sysconfig/selinux |
(2)在其他节点执行上述步骤
(3)重启所有主机
2.6安装JDK
(1)解压tar包到/usr/java目录下
| [root@kms-1 softwares]# tar -xzvf jdk-8u73-linux-x64.tar.gz -C /usr/java/ |
(2)设置java环境变量
| [root@kms-1 jdk1.8.0_73]# vi /etc/profile |
(3)让环境变量生效
| [root@kms-1 jdk1.8.0_73]# source /etc/profile |
(4)查看java
| [root@kms-1 jdk1.8.0_73]# java -version |
(5)在其他主机上执行上述步骤
2.7安装和配置数据库
2.7.1安装MySQL
(1)卸载已有的已有的mysql-libs
| [root@kms-1 mysql5.7]# rpm -qa |grep mysql [root@kms-1 mysql5.7]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 |
(2)使用RPM包安装MySQL
| [root@kms-1 mysql5.7]# rpm -ivh mysql-community-common-5.7.15-1.el6.x86_64.rpm [root@kms-1 mysql5.7]# rpm -ivh mysql-community-libs-5.7.15-1.el6.x86_64.rpm [root@kms-1 mysql5.7]# rpm -ivh mysql-community-client-5.7.15-1.el6.x86_64.rpm [root@kms-1 mysql5.7]# rpm -ivh mysql-community-server-5.7.15-1.el6.x86_64.rpm |
(3)设置开机启动
| [root@kms-1 mysql5.7]# chkconfig mysqld on |
(4)启动MySQL服务
| [root@kms-1 mysql5.7]# chkconfig mysqld on |
(5)关闭密码校验
| [root@kms-1 mysql5.7]# echo "validate_password=off">> /etc/my.cnf |
(6)修改/etc/my.cnf
| [root@kms-1 mysql5.7]# vi /etc/my.cnf |
添加如下内容
| [mysqld] character-set-server=utf8 ############################ [client] default-character-set=utf8 [mysql] default-character-set=utf8 |
(7)重启MySQL服务
| [root@kms-1 ~]# service mysqld restart |
(8)查看root用户初始密码
| [root@kms-1 ~]# cat /var/log/mysqld.log | more | grep password |
(9)登录MySQL修改密码
| [root@kms-1 ~]# mysql -uroot -p mysql> set password='123qwe'; |
2.7.2为Cloudera组件创建数据库
| mysql>CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON amon.* TO ' amon'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON rman.* TO ' rman'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON hue.* TO ' hue'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON sentry.* TO ' sentry'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON nav.* TO ' nav'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON navms.* TO ' navms'@'%' IDENTIFIED BY '123qwe'; mysql>CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql>GRANT ALL ON oozie.* TO ' oozie'@'%' IDENTIFIED BY '123qwe'; mysql> GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY '123qwe'; mysql> flush privileges; |
2.8Linux参数配置
2.8.1设置swappiness
(1)查看swappiness
| [root@kms-1 ~]# cat /proc/sys/vm/swappiness |
(2)设置swappiness的值
| [root@kms-1 ~]# echo 10 > /proc/sys/vm/swappiness [root@kms-1 ~]# echo vm.swappiness = 10 >> /etc/sysctl.conf |
(3)在其他主机执行上述步骤
2.8.2关闭透明大页面
(1) 查看透明大页是否启用
| [root@kms-1 ~]# cat /sys/kernel/mm/transparent_hugepage/defrag [root@kms-1 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled |
下面状态表示开启状态
(2)关闭透明大页面
| [root@kms-1 ~]# vi /etc/rc.d/rc.local |
在最后一行添加如下内容
| if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi |
(3)赋予rc.local具有可执行权限
| [root@kms-1 ~]# chmod +x /etc/rc.d/rc.local |
(4)在其他主机执行上述步骤
2.9修改系统文件句柄数
(1) 查看文件句柄数
| [root@kms-1 ~]# ulimit -n |
(2)修改限制
| [root@kms-1 ~]# vi /etc/security/limits.conf |
添加如下内容
| * soft nofile 100000 * hard nofile 100000 |
(3)在其他主机上执行上述操作，并重启主机
三、安装Cloudera Manager Server 和Agent
3.1解压安装cloudera-manager
cloudera manager 的目录默认位置在/opt 下， 将解压后的cm-5.15.1 和cloudera 目录放到/opt 目录下。
| [root@kms-1 ~]tar -xzvf cloudera-manager-el6-cm5.15.1_x86_64.tar.gz -C /opt |
3.2安装cloudera-manager数据库
(1)将驱动改名，并放到/opt/cm-5.15.1/share/cmf/lib/和/usr/share/java目录中
| [root@kms-1 mysql5.7]# cp mysql-connector-java.jar /opt/cm-5.15.1/share/cmf/lib/ [root@kms-1 mysql5.7]# cp mysql-connector-java.jar /usr/share/java/ |
(2)初始化CM5 的数据库：
| /opt/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql scm scm |
3.3配置Agent
(1)将config.ini中的server_host 修改为主节点的主机名。
| [root@kms-1 ~]# vi /opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini # Hostname of the CM server. server_host=kms-1.example.com |
(2)同步Agent 到其他节点
| [root@kms-1 opt]# scp -r cm-5.15.1/ kms-2.example.com:/opt/ [root@kms-1 opt]# scp -r cm-5.15.1/ kms-3.example.com:/opt/ |
3.4在所有节点创建cloudera-scm 用户
| [root@kms-1 ~]# useradd --system --home=/opt/cm-5.15.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm |
3.5准备Parcels包
(1)将CHD5 相关的Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录
| [root@kms-1 parcel-repo]# cp /opt/softwares/CDH5.15.1/* . |
相关的文件如下：
| CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 manifest.json |
(2)将CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 重命名为CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha
| [root@kms-1 parcel-repo]# mv CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha |
3.6启动CM Server 和Agent
(1)在主节点上启动cloudera-scm-server
| [root@kms-1 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-server start |
(2)在所有节点上，启动cloudera-scm-agent ：
| [root@kms-1 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start |
3.7访问CM
在浏览器中访问http://192.168.10.200:7180
用户名和密码均为admin
四、安装CDH
4.1. 登录后用户许可条款和条件
4.2选择部署版本
选择免费版本后点击继续
4.3指定主机
选择当前管理的主机后点击继续
4.4群集安装
选择本地的Parcel版本后点击继续
等待安装选定的parcel完成，点击继续
检查主机的正确性，点击完成
4.5群集设置
选择安装所有服务，点击继续
自定义角色分配
数据库设置，测试连接成功之后，点击继续
选择默认配置，点击继续
其中服务成功之后，点击继续
安装完成
浙公网安备 33010602011771号